CN113761994B - 处理图像的方法、装置、设备和计算机可读介质 - Google Patents
处理图像的方法、装置、设备和计算机可读介质 Download PDFInfo
- Publication number
- CN113761994B CN113761994B CN202010789976.7A CN202010789976A CN113761994B CN 113761994 B CN113761994 B CN 113761994B CN 202010789976 A CN202010789976 A CN 202010789976A CN 113761994 B CN113761994 B CN 113761994B
- Authority
- CN
- China
- Prior art keywords
- face
- target image
- processing
- image area
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 101
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 210000004709 eyebrow Anatomy 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 210000000720 eyelash Anatomy 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 15
- 230000000694 effects Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 239000002537 cosmetic Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 239000012634 fragment Substances 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- NOQGZXFMHARMLW-UHFFFAOYSA-N Daminozide Chemical compound CN(C)NC(=O)CCC(O)=O NOQGZXFMHARMLW-UHFFFAOYSA-N 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了处理图像的方法、装置、设备和计算机可读介质，涉及计算机技术领域。该方法的一具体实施方式包括：采集用户的人脸图像，并在所述人脸图像中按照处理目标选择人脸关键点；基于所述人脸关键点，构建人脸网格区域得到目标图像区域；在所述目标图像区域中原始颜色的基础上，结合产品的颜色和所述产品对应的贴图，处理所述目标图像区域，并输出处理后的所述目标图像区域。该实施方式能够降低计算复杂度，实时显示上妆效果。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种处理图像的方法、装置、设备和计算机可读介质。
背景技术
随着电子商务的发展，越来越多的用户通过网络购买各种各样的商品，从购买汽车到购买个人用品。
在购买美妆用品的情况下，由于用户无法现场试用美妆产品，仅依据商品介绍无法确定是否适用于自己。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：在人脸图像的基础上，按照美妆产品的介绍显示试用效果，计算复杂度较高，难以实时显示上妆效果。
发明内容
有鉴于此，本发明实施例提供一种处理图像的方法、装置、设备和计算机可读介质，能够降低计算复杂度，实时显示上妆效果。
为实现上述目的，根据本发明实施例的一个方面，提供了一种处理图像的方法，包括：
采集用户的人脸图像，并在所述人脸图像中按照处理目标选择人脸关键点；
基于所述人脸关键点，构建人脸网格区域得到目标图像区域；
在所述目标图像区域中原始颜色的基础上，结合产品的颜色和所述产品对应的贴图，处理所述目标图像区域，并输出处理后的所述目标图像区域。
所述基于所述人脸关键点，构建人脸网格区域得到目标图像区域，包括：
基于所述人脸关键点建立基准向量；
按照所述基准向量和除建立基准向量之外剩余的所述人脸关键点，构建人脸网络区域以得到所述目标图像区域。
所述采集用户的人脸图像，包括：
通过移动终端的图像采集装置，采集用户的人脸图像。
所述在所述人脸图像中按照处理目标选择人脸关键点，包括：
在所述人脸图像中，按照处理目标选择3个或3个以上人脸关键点，所述处理目标包括以下一个或多个：眉毛，眼睛，睫毛，鼻子，嘴唇和腮部。
所述处理目标包括腮部；
所述基于所述人脸关键点建立基准向量，包括：
基于所述人脸关键点中的两个内眼角关键点，建立基准向量；
所述按照所述基准向量和除建立基准向量之外剩余的所述人脸关键点，构建人脸网络区域以得到所述目标图像区域，包括：
按照所述人脸关键点中的侧脸基准点和所述基准向量，构建人脸网格区域；
将人脸两侧的人脸网格区域作为所述目标图像区域。
所述在所述目标图像区域中原始颜色的基础上，结合产品的颜色和所述产品对应的贴图，处理所述目标图像区域，包括：
在所述目标图像区域中原始颜色的基础上，结合产品的颜色、所述产品对应的贴图和预设颜色浓度，处理所述目标图像区域。
所述在所述目标图像区域中原始颜色的基础上，结合产品的颜色和所述产品对应的贴图，处理所述目标图像区域，包括：
将所述贴图的顶点与所述目标图像区域的顶点对应设置；
基于所述原始颜色、所述产品的颜色和所述贴图，处理所述目标图像区域。
所述处理目标包括腮部；
所述将所述贴图的顶点与所述目标图像区域的顶点对应设置，包括：
将所述贴图的顶点与一侧的所述腮部的目标图像区域的顶点对应设置；
或，
将所述贴图的顶点与两侧的所述腮部的目标图像区域的顶点对应设置。
根据本发明实施例的第二方面，提供了一种处理图像的装置，包括：
选择模块，用于采集用户的人脸图像，并在所述人脸图像中按照处理目标选择人脸关键点；
构建模块，用于基于所述人脸关键点，构建人脸网格区域得到目标图像区域；
处理模块，用于在所述目标图像区域中原始颜色的基础上，结合产品的颜色和所述产品对应的贴图，处理所述目标图像区域，并输出处理后的所述目标图像区域。
根据本发明实施例的第三方面，提供了一种处理图像的电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的方法。
根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述的方法。
上述发明中的一个实施例具有如下优点或有益效果：采集用户的人脸图像，并在人脸图像中按照处理目标选择人脸关键点；基于人脸关键点，构建人脸网格区域得到目标图像区域；在目标图像区域中原始颜色的基础上，结合产品的颜色和产品对应的贴图，处理目标图像区域，并输出处理后的目标图像区域。在所构建的目标图像区域内进行处理，并结合与产品对应的贴图。由于无需处理全部人脸图像，因此能够降低计算复杂度，进而能够降低计算复杂度，实时显示上妆效果。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的处理图像的方法的主要流程的示意图；
图2是根据本发明实施例的人脸关键点的示意图；
图3是根据本发明实施例的构建人脸网格区域得到目标图像区域的流程示意图；
图4是根据本发明实施例的另一个构建人脸网格区域得到目标图像区域的流程示意图；
图5是根据本发明实施例的处理目标图像区域的流程示意图；
图6是根据本发明实施例的处理图像的装置的主要结构的示意图；
图7是本发明实施例可以应用于其中的示例性系统架构图；
图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
目前，对于人脸图像的处理方式是，肤色识别和皮肤均色。该过程需计算整幅人脸图像中每个像素点的皮肤概率，计算复杂度较高。此外，也在一定程度上降低了颜色还原度。
作为一个示例，确定上腮红的位置时，利用眼睛和鼻子位置信息确定圆心，再逐渐向外扩展，利用肤色识别判断每个点是否是皮肤，若不是则停止扩展，从而得到半径。由于容易受到眼镜等其他与皮肤颜色相差较大的颜色点的干扰，鲁棒性较差，且计算复杂度较高。
为了解决计算复杂度较高，难以实时显示处理结果的技术问题，可以采用以下本发明实施例中的技术方案。
参见图1，图1是根据本发明实施例的处理图像的方法主要流程的示意图，在所构建目标图像区域内，结合产品的颜色和贴图进行处理。如图1所示，具体包括以下步骤：
S101、采集用户的人脸图像，并在人脸图像中按照处理目标选择人脸关键点。
在本发明实施例中，所处理的图像是人脸图像。作为一个示例，可以通过图像采集装置采集用户的人脸图像。也就是说，本发明实施例的执行主体即可以是移动终端，也可以是网络侧的服务器。移动终端包括但不限于，手机、笔记本和平板电脑。
在本发明的一个实施例中，通过移动终端的图像采集装置，采集用户的人脸图像。如，用户可以通过手机前置摄像头采集人脸图像。
人脸图像具有特殊性，具体来说可以基于人脸图像识别不同的人。人脸图像可以以多个人脸关键点标识。作为一个示例，通过人脸关键点检测算法可获取人脸关键点的坐标。
在本发明实施例中，处理目标可以包括以下一个或多个，眉毛，眼睛，睫毛，鼻子，嘴唇和腮部。
作为一个示例，在产品是眉笔的情况下，处理目标可以是眉毛。在产品是眼影的情况下，处理目标可以是眼睛。在产品是睫毛膏的情况下，处理目标可以是眼皮。在产品是粉饼的情况下，处理目标可以是鼻子和腮部。在产品是唇膏的情况下，处理目标可以是嘴唇。在产品是腮红的情况下，处理目标可以是腮部。
在人脸图像中可以按照处理目标选择人脸关键点。作为一个示例，整个人脸图像中包括多个人脸关键点，基于处理目标从中选择3个或3 个以上人脸关键点。
这是考虑到，至少3个人脸关键点可以构建一个区域。可以在上述构建的区域内处理图像，而无需处理人脸图像中的所有像素点，进而大大减少了处理图像的计算量。
示例性地，处理目标为嘴唇，则可以选择嘴唇附近的人脸关键点。
可以理解的是，按照处理目标选择人脸关键点，一方面可以提高所选择人脸关键点的质量，由于精确定位目标图像区域；另一方面相比于选择全部人脸关键点，减少人脸关键点的数量，降低计算量，提高处理图像的速度。
S102、基于人脸关键点，构建人脸网格区域得到目标图像区域。
在所选择的人脸关键点中，可以构建一个或多个人脸网格区域，将上述构建的人脸网格区域可以作为目标图像区域。
作为一个示例，在所选择的人脸关键点中，每三个人脸关键点构成一个人脸网格区域。在所选择的人脸关键点的数量多于三个的情况下，构成多个人脸网格区域。可以将上述人脸网络区域作为目标图像区域。
参见图2，图2是根据本发明实施例的人脸关键点的示意图，图2 中包括106个人脸关键点坐标。
下面以106个人脸关键点为例，说明按照处理目标选择人脸关键点的具体过程。当然，也可以采用其他数量的人脸关键点实现本发明实施例中的技术方案。
在图2的人脸图像中包括106个人脸关键点，可以看出人脸关键点构成人脸轮廓、眉毛、眼睛、鼻子和嘴唇。
参见图3，图3是根据本发明实施例的构建人脸网格区域得到目标图像区域的流程示意图，具体以下步骤：
S301、基于人脸关键点建立基准向量。
在本发明实施例中，考虑到有多个人脸关键点，如何利用多个人关键点构建稳定的目标图像区域。所谓稳定的目标图像区域是考虑到人脸并非刚体。人脸的各部分会随着表情的变化而发生位移，相应的目标图像区域同样也会发生变化。
为了尽可能降低人脸变化所带来目标图像区域的改变，可以基于人脸关键点建立基准向量，然后在基准向量的基础上建立目标图像区域。
作为一个示例，可以基于位移量较小的人脸关键点，建立基准向量。其中的人脸关键点是按照处理目标选择的。
S302、按照基准向量和除建立基准向量之外剩余的人脸关键点，构建人脸网络区域以得到目标图像区域。
建立基础向量之后，就可以在基准向量的基础上，结合除建立基准向量之外剩余的人脸关键点，构建人脸网络区域以得到目标图像区域。
可以理解的是，按照处理目标选择的人脸关键点可以分为两部分，一部分位移量较小的人脸关键点用于建立基准向量，剩余部分用于在基础向量的基础上，构建人脸网络区域以得到目标图像区域。
在本发明实施例中，人脸网络区域是指包括处理目标的人脸区域。结合人脸网络区域可以得到目标图像区域。
在图3的实施例中，在基础向量的基础上，构建人脸网络区域得到目标图像区域，能够提高目标图像区域的稳定性，以针对不同用户输出个性化的目标图像区域。
下面以处理目标为腮部，示例性说明构建目标图像区域。
按照方向，腮部可以分为左侧腮部和右侧腮部。左侧腮部与右侧腮部是以鼻子为对称轴的对称区域。
在人脸图像的左脸选择左脸的人脸关键点：点0(x0，y0)；点1 (x1，y1)；点2(x2，y2)；点3(x3，y3)。
可以理解的是，点0是左眼最下方的人脸关键点。点1是左脸边缘的人脸关键点。点2是左下唇的人脸关键点。点3是左侧鼻翼的人脸关键点。
上述4个关键点构建两个人脸网格区域，可以将上述两个人脸网格区域作为目标图像区域。
与左脸类似地，可以在人脸图像的右脸选择右脸的人脸关键点：点4(x4，y4)；点5(x5，y5)；点6(x6，y6)；点7(x7，y7)。上述四个人脸关键点并未在图2中示出。
可以理解的是，点4是右眼最下方的人脸关键点。点5是右脸边缘的人脸关键点。点6是右下唇的人脸关键点。点7是右侧鼻翼的人脸关键点。
参见图4，图4是根据本发明实施例的构建人脸网格区域得到目标图像区域的流程示意图，可以理解的是图4中的技术方案是图3中方案的一个具体实现，具体包括：
S401、基于人脸关键点中的两个内眼角关键点，建立基准向量。
为了简化目标图像区域的坐标，减少计算量。首先可以建立基准向量。可以理解的是，目标图像区域的四个顶点的坐标可以以基准向量衡量。
人脸是一个非刚体，两眼内眼角在脸上的位置相对稳定，在人脸姿态或者表情发生变化时，两眼内眼角通常不会发生大的位移或形变。以这两个点为基准构建的人脸网格区域会更稳定。
继续参见图2，将左内眼角的人脸关键点记为：L(xl，yl)，将右内眼角的人脸关键点记为：R(xR，yR)。基于上述两个人脸关键点，建立基准向量。
基于两眼内眼角关键点L和R，作由R指向L的向量并归一化，得到基准向量u＝(xu,yu)，其中：
S402、按照人脸关键点中的侧脸基准点和基准向量，构建人脸网格区域。
人脸关键点中的左侧脸基准点即：点0，点1，点2和点3；人脸关键点中的右侧脸基准点即：点4，点5，点6和点7。
可以在上述侧脸基准点的基础上，结合基准向量构建人脸网格区域。
继续参见图2，以点0、点1、点2和点3建立左侧的人脸网格区域。即，矩形ABCD。其中，AB和CD平行于向量u，AD和BC垂直于向量u。
根据向量运算法则可得，点A到点0的距离为lA0＝(x3-x0，y3-y0)·u，其中，·表示点乘。则点A的坐标为：
(xA,yA)＝(x0,y0)+lA0u (3)
点B到点0的距离为lB0＝(x1-x0，y1-y0)·u，则点B的坐标为：
(xB,yB)＝(x0,y0)+lB0u (4)
点C到点2的距离为lC2＝(x1-x2,y1-y2)·u，则点C的坐标为
(xC,yC)＝(x2,y2)+lC2u (5)
点D到点2的距离为lD2＝(x3-x2,y3-y2)·u，则点D的坐标为
(xD,yD)＝(x2,y2)+lD2u (6)
S403、将人脸两侧的人脸网格区域作为目标图像区域。
按照上述公式(1)至公式(6)，可以构建左侧的人脸网格区域。类似地，以点4，点5，点6和点7，能够构建右侧的人脸网格区域。
将左侧的人脸网格区域和右侧的人脸网格区域，作为目标图像区域。那么，就可以在目标图像区域进行相应的处理。
S103、在目标图像区域中原始颜色的基础上，结合产品的颜色和产品对应的贴图，处理目标图像区域，并输出处理后的目标图像区域。
目标图像区域属于人脸图像，因此目标图像区域具有原始颜色，即用户脸部的原始颜色。用户购买产品的目的在于覆盖脸部的处理目标。也就是说，产品本身是带有颜色的。
对于不同的产品来说，产品的贴图不同。贴图是产品应用于对应部位的效果示意图。
作为一个示例，口红对应的贴图，是采用专业画法在嘴唇使用口红后的效果示意图。其中，专业画法是指美妆人员所采用的化妆专业手段。如：口红的画法包括咬唇妆、薄涂、水润唇和厚涂等。
在本发明实施例中，产品的贴图可以由专业美妆人员预先设计。在设计时可结合人脸网格区域实现不同位置不同形状的画法。
参见图5，图5是根据本发明实施例的处理目标图像区域的流程示意图，具体包括：
S501、将贴图的顶点与目标图像区域的顶点对应设置。
可以按照目标图像区域的形状预设贴图形状。但每个人脸图像的目标图像区域的面积是不同的，可以将贴图的顶点与目标图像区域的顶点对应设置。
这样做的目的在于，确保贴图与目标图像区域重合。这样，计算高效，无需进行额外的对齐步骤，减少目标图像区域与贴图不一致导致的画法拉伸变形。
S502、基于原始颜色、产品的颜色和贴图，处理目标图像区域。
贴图中每一点的像素值表示该点处上妆颜色的深浅，基于原始颜色、产品的颜色和贴图，处理目标图像区域。
下面以处理目标是腮部，产品是腮红为例，说明处理目标图像区域。
对于目标图像区域中的一个像素点，原始颜色为inputColor，腮红的颜色blushColor，该点对应的贴图像素值为α，则混合后的颜色为：
output＝inputColor·(1-α)+blushColor·α (7)
进而，采用公式(7)能够处理目标图像区域中的每个像素点。
在图5的实施例中，可以结合产品的贴图处理目标图像区域，计算方式简单，进而减少计算量。
在本发明的一个实施例中，还可以结合预设颜色浓度，处理目标图像区域。即，在目标图像区域中原始颜色的基础上，结合产品的颜色、产品对应的贴图和预设颜色浓度，处理目标图像区域。其中，预设颜色浓度即上妆的深浅。预设颜色浓度为strength，在公式(7)的基础上结合预设颜色浓度，得到公式(8)
output＝inputColor·(1-α·strength)+blushColor·α·strength (8)
那么，在处理目标图像区域，支持不同贴图，颜色浓度调节和产品的颜色切换，方便用户对比不同产品的上妆效果。
示例性地，本发明的技术方案具体实现可基于openGL。openGL 是一种用于渲染二维、三维图形的跨平台、跨语言的应用程序接口。然后，将贴图坐标和目标图像区域顶点坐标传入顶点着色器，在片元着色器内实现颜色渲染，则可利用GPU的并行计算能力实现高效的渲染。
其中，顶点着色器是在渲染顶点时执行的一段程序，可以对输入的顶点进行位置变换、生成/变换纹理坐标等操作，并且将位置和纹理坐标等参数发送给片元着色器。片元着色器是在渲染片元时执行的一段程序，对光栅化生成的每个片元进行处理，计算出每个像素的最终颜色。
在本发明的一个实施例中，在处理目标包括腮部的情况下，由于腮部具体包括左腮和右腮，一般情况下左腮与右腮相对应。可以采用以下方式设置贴图的顶点与目标图像区域的顶点。
方式一：
将贴图的顶点与一侧的腮部的目标图像区域的顶点对应设置。即，设置包括两部分，将左侧贴图的顶点与左侧腮部的目标图像区域的顶点对应设置，以及将右侧贴图的顶点与右侧腮部的目标图像区域的顶点对应设置。可以理解的是，贴图包括左侧贴图和右侧贴图。
方式二：
将贴图的顶点与两侧的腮部的目标图像区域的顶点对应设置。即，将贴图的顶点与左侧腮部和右侧腮部的目标图像区域的顶点对应设置。可以理解的是，贴图可以同时覆盖左侧腮部和右侧腮部。
在处理目标图像区域后，可以输出处理后的目标图像区域至用户终端，这样用户可以实时获知上妆效果，便于用户选择产品。
在上述实施例中，采集用户的人脸图像，并在人脸图像中按照处理目标选择人脸关键点；基于人脸关键点，构建人脸网格区域得到目标图像区域；在目标图像区域中原始颜色的基础上，结合产品的颜色和产品对应的贴图，处理目标图像区域，并输出处理后的目标图像区域。在所构建的目标图像区域内进行处理，并结合与产品对应的贴图。由于无需处理全部人脸图像，因此能够降低计算复杂度，进而能够降低计算复杂度，实时显示上妆效果。
此外，方便用户切换不同种类和不同颜色的产品，同时通过贴图尝试多种画法，有效提高用户体验。
参见图6，图6是根据本发明实施例的处理图像的装置的主要结构的示意图，处理图像的装置可以实现处理图像的方法，如图5所示，处理图像的装置具体包括：
选择模块601，用于采集用户的人脸图像，并在人脸图像中按照处理目标选择人脸关键点。
构建模块602，用于基于人脸关键点，构建人脸网格区域得到目标图像区域。
处理模块603，用于在目标图像区域中原始颜色的基础上，结合产品的颜色和产品对应的贴图，处理目标图像区域，并输出处理后的目标图像区域。
在本发明的一个实施例中，构建模块602，具体用于基于所述人脸关键点建立基准向量；
按照所述基准向量和除建立基准向量之外剩余的所述人脸关键点，构建人脸网络区域以得到所述目标图像区域。
在本发明的一个实施例中，选择模块601，具体用于通过移动终端的图像采集装置，采集用户的人脸图像。
在本发明的一个实施例中，选择模块601，具体用于在人脸图像中，按照处理目标选择3个或3个以上人脸关键点，处理目标包括以下一个或多个：眉毛，眼睛，睫毛，鼻子，嘴唇和腮部。
在本发明的一个实施例中，处理目标包括腮部；构建模块602，具体用于基于人脸关键点中的两个内眼角关键点，建立基准向量；
按照人脸关键点中的侧脸基准点和基准向量，构建人脸网格区域；
将人脸两侧的人脸网格区域作为目标图像区域。
在本发明的一个实施例中，处理模块603，具体用于在目标图像区域中原始颜色的基础上，结合产品的颜色、产品对应的贴图和预设颜色浓度，处理目标图像区域。
在本发明的一个实施例中，处理模块603，具体用于将贴图的顶点与目标图像区域的顶点对应设置；
基于原始颜色、产品的颜色和贴图，处理目标图像区域。
在本发明的一个实施例中，处理目标包括腮部；
处理模块603，具体用于将贴图的顶点与一侧的腮部的目标图像区域的顶点对应设置；
或，
将贴图的顶点与两侧的腮部的目标图像区域的顶点对应设置。
图7示出了可以应用本发明实施例的处理图像的方法或处理图像的装置的示例性系统架构700。
如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备701、702、703通过网络704与服务器705 交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器 (仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息-- 仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的处理图像的方法一般由服务器705执行，相应地，处理图像的装置一般设置于服务器705中。
应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808 加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/ 输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU) 801执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，发送单元还可以被描述为“向所连接的服务端发送图片获取请求的单元”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
采集用户的人脸图像，并在所述人脸图像中按照处理目标选择人脸关键点；
基于所述人脸关键点，构建人脸网格区域得到目标图像区域；
在所述目标图像区域中原始颜色的基础上，结合产品的颜色和所述产品对应的贴图，处理所述目标图像区域，并输出处理后的所述目标图像区域。
根据本发明实施例的技术方案，采集用户的人脸图像，并在人脸图像中按照处理目标选择人脸关键点；基于人脸关键点，构建人脸网格区域得到目标图像区域；在目标图像区域中原始颜色的基础上，结合产品的颜色和产品对应的贴图，处理目标图像区域，并输出处理后的目标图像区域。在所构建的目标图像区域内进行处理，并结合与产品对应的贴图。由于无需处理全部人脸图像，因此能够降低计算复杂度，进而能够降低计算复杂度，实时显示上妆效果。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种处理图像的方法，其特征在于，包括：
采集用户的人脸图像，并在所述人脸图像中按照处理目标选择人脸关键点；
基于所述人脸关键点，构建人脸网格区域得到目标图像区域；
在所述目标图像区域中原始颜色的基础上，结合产品的颜色和所述产品对应的贴图，处理所述目标图像区域，并输出处理后的所述目标图像区域；
所述基于所述人脸关键点，构建人脸网格区域得到目标图像区域，包括：
基于相对稳定的位移量较小的所述人脸关键点建立基准向量；
按照所述基准向量和除建立基准向量之外剩余的所述人脸关键点，构建人脸网格区域，将人脸两侧的人脸网格区域作为所述目标图像区域。
2.根据权利要求1所述处理图像的方法，其特征在于，所述在所述人脸图像中按照处理目标选择人脸关键点，包括：
在所述人脸图像中，按照处理目标选择3个或3个以上人脸关键点，所述处理目标包括以下一个或多个：眉毛，眼睛，睫毛，鼻子，嘴唇和腮部。
3.根据权利要求1所述处理图像的方法，其特征在于，所述处理目标包括腮部；
所述基于所述人脸关键点建立基准向量，包括：
基于所述人脸关键点中的两个内眼角关键点，建立基准向量；
所述按照所述基准向量和除建立基准向量之外剩余的所述人脸关键点，构建人脸网格区域以得到所述目标图像区域，包括：
按照所述人脸关键点中的侧脸基准点和所述基准向量，构建人脸网格区域；
将人脸两侧的人脸网格区域作为所述目标图像区域。
4.根据权利要求1所述处理图像的方法，其特征在于，所述在所述目标图像区域中原始颜色的基础上，结合产品的颜色和所述产品对应的贴图，处理所述目标图像区域，包括：
在所述目标图像区域中原始颜色的基础上，结合产品的颜色、所述产品对应的贴图和预设颜色浓度，处理所述目标图像区域。
5.根据权利要求1所述处理图像的方法，其特征在于，所述在所述目标图像区域中原始颜色的基础上，结合产品的颜色和所述产品对应的贴图，处理所述目标图像区域，包括：
将所述贴图的顶点与所述目标图像区域的顶点对应设置；
基于所述原始颜色、所述产品的颜色和所述贴图，处理所述目标图像区域。
6.根据权利要求5所述处理图像的方法，其特征在于，所述处理目标包括腮部；
所述将所述贴图的顶点与所述目标图像区域的顶点对应设置，包括：
将所述贴图的顶点与一侧的所述腮部的目标图像区域的顶点对应设置；
或，
将所述贴图的顶点与两侧的所述腮部的目标图像区域的顶点对应设置。
7.根据权利要求1所述处理图像的方法，其特征在于，所述采集用户的人脸图像，包括：
通过移动终端的图像采集装置，采集用户的人脸图像。
8.一种处理图像的装置，其特征在于，包括：
选择模块，用于采集用户的人脸图像，并在所述人脸图像中按照处理目标选择人脸关键点；
构建模块，用于基于所述人脸关键点，构建人脸网格区域得到目标图像区域；以及基于相对稳定的位移量较小的所述人脸关键点建立基准向量；按照所述基准向量和除建立基准向量之外剩余的所述人脸关键点，构建人脸网格区域，将人脸两侧的人脸网格区域作为所述目标图像区域；
处理模块，用于在所述目标图像区域中原始颜色的基础上，结合产品的颜色和所述产品对应的贴图，处理所述目标图像区域，并输出处理后的所述目标图像区域。
9.一种处理图像的电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010789976.7A CN113761994B (zh) | 2020-08-07 | 2020-08-07 | 处理图像的方法、装置、设备和计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010789976.7A CN113761994B (zh) | 2020-08-07 | 2020-08-07 | 处理图像的方法、装置、设备和计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113761994A CN113761994A (zh) | 2021-12-07 |
| CN113761994B true CN113761994B (zh) | 2024-05-21 |
Family
ID=78785670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010789976.7A Active CN113761994B (zh) | 2020-08-07 | 2020-08-07 | 处理图像的方法、装置、设备和计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113761994B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109255783A (zh) * | 2018-10-19 | 2019-01-22 | 上海摩象网络科技有限公司 | 一种多人图像上的人体骨骼关键点的位置排布检测方法 |
| CN110163080A (zh) * | 2019-04-02 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 人脸关键点检测方法及装置、存储介质和电子设备 |
| WO2020119458A1 (zh) * | 2018-12-10 | 2020-06-18 | 腾讯科技（深圳）有限公司 | 脸部关键点检测方法、装置、计算机设备和存储介质 |
| CN111369644A (zh) * | 2020-02-28 | 2020-07-03 | 北京旷视科技有限公司 | 人脸图像的试妆处理方法、装置、计算机设备和存储介质 |
| CN111402122A (zh) * | 2020-03-20 | 2020-07-10 | 北京字节跳动网络技术有限公司 | 图像的贴图处理方法、装置、可读介质和电子设备 |
-
2020
- 2020-08-07 CN CN202010789976.7A patent/CN113761994B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109255783A (zh) * | 2018-10-19 | 2019-01-22 | 上海摩象网络科技有限公司 | 一种多人图像上的人体骨骼关键点的位置排布检测方法 |
| WO2020119458A1 (zh) * | 2018-12-10 | 2020-06-18 | 腾讯科技（深圳）有限公司 | 脸部关键点检测方法、装置、计算机设备和存储介质 |
| CN110163080A (zh) * | 2019-04-02 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 人脸关键点检测方法及装置、存储介质和电子设备 |
| CN111369644A (zh) * | 2020-02-28 | 2020-07-03 | 北京旷视科技有限公司 | 人脸图像的试妆处理方法、装置、计算机设备和存储介质 |
| CN111402122A (zh) * | 2020-03-20 | 2020-07-10 | 北京字节跳动网络技术有限公司 | 图像的贴图处理方法、装置、可读介质和电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 基于轻量级神经网络的人脸检测算法;尹茜;;常州信息职业技术学院学报;20191215(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113761994A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110766777B (zh) | 虚拟形象的生成方法、装置、电子设备及存储介质 | |
| WO2022012085A1 (zh) | 人脸图像处理方法、装置、存储介质及电子设备 | |
| CN114972632A (zh) | 基于神经辐射场的图像处理方法及装置 | |
| CN110782515A (zh) | 虚拟形象的生成方法、装置、电子设备及存储介质 | |
| CN105096353B (zh) | 一种图像处理方法及装置 | |
| CN109754464B (zh) | 用于生成信息的方法和装置 | |
| EP4165606A1 (en) | Object reconstruction with texture parsing | |
| EP3855386B1 (en) | Method, apparatus, device and storage medium for transforming hairstyle and computer program product | |
| CN115018992B (zh) | 发型模型的生成方法、装置、电子设备及存储介质 | |
| CN113610958A (zh) | 一种基于风格迁移的3d图像构建方法、装置及终端 | |
| CN114202597B (zh) | 图像处理方法及装置、设备、介质和产品 | |
| CN109801354A (zh) | 全景处理方法和装置 | |
| CN114049674A (zh) | 一种三维人脸重建方法、装置及存储介质 | |
| CN113822965A (zh) | 图像渲染处理方法、装置和设备及计算机存储介质 | |
| CN113570634A (zh) | 对象三维重建方法、装置、电子设备及存储介质 | |
| CN113761994B (zh) | 处理图像的方法、装置、设备和计算机可读介质 | |
| WO2023193613A1 (zh) | 高光渲染方法、装置、介质及电子设备 | |
| CN116188742A (zh) | 虚拟对象的控制方法、装置、设备及存储介质 | |
| CN112528707A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN110264431A (zh) | 视频美化方法、装置及电子设备 | |
| Lee et al. | Holistic 3D face and head reconstruction with geometric details from a single image | |
| JP2024506879A (ja) | 仮想表現を提示するための方法及び装置、コンピュータ機器及び記憶媒体 | |
| US10540823B2 (en) | Method and apparatus for determining a planar surface | |
| CN111582121A (zh) | 用于捕捉面部表情特征的方法、终端设备和计算机可读存储介质 | |
| CN111754632A (zh) | 业务服务的处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |