CN113409185B - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113409185B CN113409185B CN202110528332.7A CN202110528332A CN113409185B CN 113409185 B CN113409185 B CN 113409185B CN 202110528332 A CN202110528332 A CN 202110528332A CN 113409185 B CN113409185 B CN 113409185B
- Authority
- CN
- China
- Prior art keywords
- pixel
- region
- eyebrow
- current pixel
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 210000004709 eyebrow Anatomy 0.000 claims abstract description 241
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000004048 modification Effects 0.000 claims abstract description 20
- 238000012986 modification Methods 0.000 claims abstract description 20
- 230000004044 response Effects 0.000 claims abstract description 13
- 230000001815 facial effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 241000124033 Salix Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G06T3/04—
Abstract
本公开是关于图像处理方法、装置、电子设备及存储介质，该方法包括：响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛对应的位置；确定人脸图像中的重合区域、第一非重合区域、第二非重合区域和除了重合区域、第一非重合区域、第二非重合区域之外的其他皮肤区域；对人脸图像进行像素替换处理，得到经过处理的人脸图像。本公开可以实现可以将任意一种眉毛形状调整为目标眉毛形状，提高了对眉毛形状进行修改的便利性。
Description
技术领域
本公开涉及互联网领域，具体涉及图像处理方法、装置、电子设备及存储介质。
背景技术
在对人脸图像进行的美颜处理中，将人脸图像中的原有的眉毛形状调整为目标眉毛形状是用户常见的需求。通常，不同的用户的眉毛的形状是不同的，如何对于任意一种眉毛的形状，均可以调整为目标眉毛形状，确定目标眉毛形状包围的区域中的像素值以形成目标眉毛成为一个需要解决的问题。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质。
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛的位置对应的位置，其中，所述原始眉毛的位置由所述原始眉毛的轮廓的中心的位置表征；
确定所述人脸图像中的重合区域、第一非重合区域、第二非重合区域和除了所述重合区域、所述第一非重合区域、所述第二非重合区域之外的其他皮肤区域，其中，所述重合区域为同时属于原始眉毛区域和目标眉毛区域的区域，所述第一非重合区域为属于原始眉毛区域并且不属于目标眉毛区域的区域，所述第二非重合区域为属于目标眉毛区域并且不属于原始眉毛区域的区域；
对所述人脸图像进行像素替换处理，得到经过处理的人脸图像，所述像素替换处理包括：遍历所述人脸图像中的像素，对于遍历到的当前像素，当所述当前像素位于所述第一非重合区域中时，基于所述其他皮肤区域中用于替换所述当前像素的皮肤像素的像素值，修改所述当前像素的像素值；当所述当前像素位于所述第二非重合区域中时，基于所述原始眉毛区域中用于替换所述当前像素的原始眉毛像素的像素值，修改所述当前像素的像素值。
在一些实施例中，当所述当前像素位于所述第一非重合区域中时，基于所述其他皮肤区域中用于替换所述当前像素的皮肤像素的像素值，修改所述当前像素的像素值包括：
将所述其他皮肤区域中与所述当前像素的距离最近的皮肤像素确定为用于替换所述当前像素的皮肤像素；
将所述当前像素的像素值修改为所述用于替换所述当前像素的皮肤像素的像素值。
在一些实施例中，当所述当前像素位于所述第二非重合区域中时，基于所述原始眉毛区域中用于替换所述当前像素的原始眉毛像素的像素值，修改所述当前像素的像素值包括：
将所述原始眉毛区域中与所述当前像素的距离最近的原始眉毛像素确定为用于替换所述当前像素的原始眉毛像素；
将所述当前像素的像素值修改为所述用于替换所述当前像素的原始眉毛像素的像素值。
在一些实施例中，所述方法还包括：
在查询到所述第一非重合区域对应的掩码图中位置与所述当前像素的位置相同的掩码像素的像素值为第一值时，确定所述当前像素位于所述第一非重合区域中；
在查询到所述第二非重合区域对应的掩码图中位置与所述当前像素的位置相同的掩码像素的像素值为所述第一值时，确定所述当前像素位于所述第二非重合区域中。
在一些实施例中，在响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛的位置对应的位置之前，所述方法还包括：
对所述人脸图像进行人脸关键点检测，得到眉毛关键点；
基于所述眉毛关键点，确定原始眉毛的边缘；
将所述原始眉毛的边缘包围的区域确定为所述原始眉毛区域。
在一些实施例中，在得到经过处理的人脸图像之后，所述方法还包括：
对所述经过处理的人脸图像进行柏松克隆处理，得到目标人脸图像。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
叠加模块，被配置为响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛的位置对应的位置，其中，所述原始眉毛的位置由所述原始眉毛的轮廓的中心的位置表征；
确定模块，被配置为确定确定所述人脸图像中的重合区域、第一非重合区域、第二非重合区域和除了所述重合区域、第一非重合区域、第二非重合区域之外的其他皮肤区域，其中，所述重合区域为同时属于原始眉毛区域和目标眉毛区域的区域，所述第一非重合区域为属于原始眉毛区域并且不属于目标眉毛区域的区域，所述第二非重合区域为属于目标眉毛区域并且不属于原始眉毛区域的区域；
处理模块，被配置为对所述人脸图像进行像素替换处理，得到经过处理的人脸图像，所述像素替换处理包括：遍历所述人脸图像中的像素，对于遍历到的当前像素，当所述当前像素位于所述第一非重合区域中时，基于所述其他皮肤区域中用于替换所述当前像素的皮肤像素的像素值，修改所述当前像素的像素值；当所述当前像素位于所述第二非重合区域中时，基于所述原始眉毛区域中用于替换所述当前像素的原始眉毛像素的像素值，修改所述当前像素的像素值。
在一些实施例中，所述处理模块包括：
第一替换子模块，被配置为当所述当前像素位于所述第一非重合区域中时，将所述其他皮肤区域中与所述当前像素的距离最近的皮肤像素确定为用于替换所述当前像素的皮肤像素；将所述当前像素的像素值修改为所述用于替换所述当前像素的皮肤像素的像素值。
在一些实施例中，所述处理模块包括：
第二替换子模块，被配置为当所述当前像素位于所述第二非重合区域中时，将所述原始眉毛区域中与所述当前像素的距离最近的原始眉毛像素确定为用于替换所述当前像素的原始眉毛像素；将所述当前像素的像素值修改为所述用于替换所述当前像素的原始眉毛像素的像素值。
在一些实施例中，图像处理装置还包括：
查询模块，被配置为在查询到所述第一非重合区域对应的掩码图中位置与所述当前像素的位置相同的掩码像素的像素值为第一值时，确定所述当前像素位于所述第一非重合区域中；在查询到所述第二非重合区域对应的掩码图中位置与所述当前像素的位置相同的掩码像素的像素值为所述第一值时，确定所述当前像素位于所述第二非重合区域中。
在一些实施例中，图像处理装置还包括：
定位模块，被配置为在响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛的位置对应的位置之前，对所述人脸图像进行人脸关键点检测，得到眉毛关键点；基于所述眉毛关键点，确定原始眉毛的边缘；将所述原始眉毛的边缘包围的区域确定为所述原始眉毛区域。
在一些实施例中，图像处理装置还包括：
优化模块，被配置为在得到经过处理的人脸图像之后，对所述经过处理的人脸图像进行柏松克隆处理，得到目标人脸图像。
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面中任一项所述的方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面中任一项所述的方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在电子设备上运行时，使得所述电子设备执行如第一方面中任一项所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
在需要对眉毛形状进行调整时，自动确定相关区域，对人脸图像进行像素替换处理，得到经过处理的人脸图像，经过处理的人脸图像中的眉毛的形状为目标眉毛形状，可以将任意一种眉毛形状调整为目标眉毛形状，提高了对眉毛形状进行修改的便利性。
附图说明
此处的附图被并入说明书中并组成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像处理方法的一个实施例的流程图；
图2是根据一示例性实施例示出的一种图像处理装置的结构框图；
图3是根据一示例性实施例示出的一种电子设备的结构框图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1是根据一示例性实施例示出的图像处理方法的一个实施例的流程图。该方法包括以下步骤：
步骤101，响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛的位置对应的位置。
当用户期望改变眉毛形状时，用户可以进行修改指示操作，以生成眉型修改指令。例如，当用户期望调整人脸图像中的眉毛的形状时，在相关界面上展示用户的人脸图像和设计人员设计的眉毛形状例如柳叶眉、一字眉等。修改指示操作可以为：用户利用鼠标将作为目标眉毛形状的、设计人员设计的一个眉毛形状拖动至人脸图像中，点击指示进行眉形修改的按钮。
在本公开中，可以将人脸图像中原有的眉毛称之为原始眉毛。人脸图像中的原始眉毛由所有属于原始眉毛的像素组成。
在本公开中，原始眉毛的位置可以由原始眉毛的轮廓的中心的位置表征。例如，可以利用原始眉毛的轮廓的中心的坐标表示原始眉毛的位置。与原始眉毛的位置对应的位置可以与原始眉毛的位置相同，与原始眉毛的位置对应的位置也可以为与原始眉毛的位置与用户设置的位置偏移量相加之后得到的位置。
步骤102，确定人脸图像中的重合区域、第一非重合区域、第二非重合区域和除了重合区域、第一非重合区域、第二非重合区域之外的其他皮肤区域。
在本公开中，在将目标眉毛形状叠加到人脸图像中之后，人脸图像包括原始眉毛、目标眉毛形状。原始眉毛区域为所有属于原始眉毛的像素占据的区域。目标眉毛区域为目标眉毛形状包围的区域。
在本公开中，可以将人脸图像中的、同时属于目标眉毛区域和原始眉毛区域的区域称之为重合区域。
在本公开中，可以将人脸图像中的、属于原始眉毛区域并且不属于目标眉毛区域的区域称之为第一非重合区域。可以将人脸图像中的、属于目标眉毛区域并且不属于原始眉毛区域的区域称之为第二非重合区域。可以将人脸图像中的、除了重合区域、第一非重合区域、第二非重合区域之外的区域称之为其他皮肤区域。
步骤103，对人脸图像进行像素替换处理，得到经过处理的人脸图像。
在本公开中，经过处理的人脸图像中的眉毛的形状为目标眉毛形状。
像素替换处理包括：遍历人脸图像中的像素，对于遍历到的当前像素，当该当前像素位于第一非重合区域中时，基于其他皮肤区域中用于替换该当前像素的皮肤像素的像素值，修改该当前像素的像素值；当该当前像素位于第二非重合区域中时，基于原始眉毛区域中用于替换该当前像素的原始眉毛像素的像素值，修改该当前像素的像素值。
在本公开中，对于遍历到的任意一个像素，可以根据该当前像素的位置、皮肤区域、原始眉毛区域、目标眉毛区域、重合区域等区域的边界的位置，确定该当前像素属于皮肤区域、原始眉毛区域、目标眉毛区域、重合区域中的哪一个区域。
在本公开中，对于遍历到的任意一个当前像素，当该当前像素位于第一非重合区域中时，可以通过patchmatch算法确定其他皮肤区域中用于替换该当前像素的皮肤像素。patch为对人脸图像进行划分得到的预设尺寸例如3*3的图像块。当该当前像素位于第一非重合区域中时，可以通过patchmatch算法确定其他皮肤区域中的、与第一非重合区域中该当前像素所在的图像块相似度最高的图像块，从该相似度最高的图像块中查找出与该当前像素的相似度最高的像素，将查找出的像素作为其他皮肤区域中用于替换该当前像素的皮肤像素。然后，可以将该当前像素的像素值修改为其他皮肤区域中用于替换该当前像素的皮肤像素的像素值。
对于遍历到的任意一个当前像素，当该当前像素位于第二非重合区域中时，可以通过patchmatch算法确定原始眉毛区域中用于替换该当前像素的原始眉毛像素。可以通过patchmatch算法确定原始眉毛区域中的、与第二非重合区域中该当前像素所在的图像块相似度最高的图像块，从该相似度最高的图像块中查找出与该当前像素的相似度最高的像素，将查找出的像素作为原始眉毛区域中用于替换该当前像素的原始眉毛像素。然后，可以将该当前像素的像素值修改为原始眉毛区域中用于替换该当前像素的原始眉毛像素的像素值。
在本公开中，在需要对眉毛形状进行调整时，自动确定相关区域，对人脸图像进行像素替换处理，得到经过处理的人脸图像，经过处理的人脸图像中的眉毛的形状为目标眉毛形状，可以将任意一种眉毛形状调整为目标眉毛形状，提高了对眉毛形状进行修改的便利性。
在一些实施例中，对于遍历到的任意一个当前像素，当该当前像素位于第一非重合区域中时，基于其他皮肤区域中用于替换该当前像素的皮肤像素的像素值，修改该当前像素的像素值包括：将其他皮肤区域中与该当前像素的距离最近的皮肤像素确定为用于替换该当前像素的皮肤像素；将该当前像素的像素值修改为用于替换该当前像素的皮肤像素的像素值。
人脸图像是通过图像传感器采集的，每一个像素各自对应三维空间中的一个三维点。同一个对象的像素点对应的三维点的位置越接近，像素点对应的三维点的光强越接近，光强直接影响像素值，因此，在正常情况下，属于同一个对象的像素点的应该满足的关系为：像素点的位置越接近，像素点的像素值越接近。否则，在属于一个对象的多个像素都不符合这个关系的情况下，该对象占据的区域的显示效果就会不自然，导致图像处理之后出现图像失真的情况。
在本公开中，对于遍历到的任意一个当前像素，当当前像素位于第一非重合区域中时，可以将该当前像素的像素值修改为其他皮肤区域中与该当前像素的距离最近的皮肤像素的像素值，该当前像素与其他皮肤区域中与该当前像素的距离最近的皮肤像素的距离近，该当前像素的修改后的像素值与其他皮肤区域中与该当前像素的距离最近的皮肤像素的像素值相同，使得修改之后，满足属于同一个对象的像素点的应该满足的关系，可以避免图像处理之后图像失真的情况。
在一些实施例中，对于遍历到的任意一个当前像素，当该当前像素位于第二非重合区域中时，基于原始眉毛区域中用于替换该当前像素的原始眉毛像素的像素值，修改该当前像素的像素值包括：将原始眉毛区域中与该当前像素的距离最近的原始眉毛像素确定为用于替换该当前像素的原始眉毛像素；将该当前像素的像素值修改为用于替换该当前像素的原始眉毛像素的像素值。
在本公开中，对于遍历到的任意一个当前像素，当当前像素位于第二非重合区域中时，可以将该当前像素的像素值修改为原始眉毛区域中与该当前像素的距离最近的原始眉毛像素的像素值，该当前像素与原始眉毛区域中与该当前像素的距离最近的原始眉毛像素的距离近，该当前像素的修改后的像素值与原始眉毛区域中与该当前像素的距离最近的原始眉毛像素的像素值相同，使得修改之后，满足属于同一个对象的像素点的应该满足的关系，可以避免图像处理之后图像失真的情况。
在一些实施例中，在对人脸图像进行处理，得到经过处理的人脸图像之后，还包括：对经过处理的人脸图像进行柏松克隆处理，得到目标人脸图像。
在经过处理的人脸图像中，第一非重合区域中的像素的像素值、第二非重合区域中的像素的像素值已经改变，不再是原有的像素值，因此，可能第一非重合区域的显示效果不自然和/或在第二非重合区域的显示效果不自然，对经过处理的人脸图像进行柏松克隆处理，可以使得得到的目标人脸图像中的第一非重合区域的显示效果、第二非重合区域的显示效果更加逼真自然。
在一些实施例中，在响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛的位置对应的位置之前，还包括：对人脸图像进行人脸关键点检测，得到眉毛关键点；基于眉毛关键点，确定原始眉毛的边缘；将原始眉毛的边缘包围的区域确定为原始眉毛区域。
人脸图像中的属于原始眉毛的眉毛关键点位于人脸图像中的原始眉毛的边缘上。可以通过人脸关键点检测，得到眉毛关键点。基于眉毛关键点，确定原始眉毛的边缘。例如，可以利用计算机视觉和机器学习软件库opencv中fillConvexPoly功能基于眉毛关键点的坐标，确定原始眉毛的边缘。将原始眉毛的边缘包围的区域确定为原始眉毛区域。
在本公开中，基于眉毛关键点，可以精确地确定原始眉毛的边缘，进而可以精确地确定原始眉毛区域。
在一些实施例中，还包括：在查询到第一非重合区域对应的掩码图中位置与当前像素的位置相同的掩码像素的像素值为第一值时，确定该当前像素位于第一非重合区域中；在查询到第二非重合区域对应的掩码图中位置与该当前像素的位置相同的掩码像素的像素值为该第一值时，确定该当前像素位于第二非重合区域中。
在本公开中，可以建立其他皮肤区域对应的掩码图、重合区域对应的掩码图、第一非重合区域对应的掩码图、第二非重合区域对应的掩码图。
其他皮肤区域对应的掩码图中的每一个掩码像素各自对应人脸图像中的一个像素。对于其他皮肤区域对应的掩码图中的每一个掩码像素，该掩码像素在其他皮肤区域对应的掩码图中的位置与该掩码像素对应的一个像素在人脸图像中的位置相同。在其他皮肤区域对应的掩码图中，对应于其他皮肤区域中的像素的掩码像素的像素值为第一值例如255，其他皮肤区域对应的掩码图中的除了像素值为第一值的掩码像素之外的掩码像素的像素值为第二值例如0。
重合区域对应的掩码图中的每一个掩码像素各自对应人脸图像中的一个像素。对于重合区域对应的掩码图中的每一个掩码像素，该掩码像素在重合区域对应的掩码图中的位置与该掩码像素对应的一个像素在人脸图像中的位置相同。在重合区域对应的掩码图中，对应于重合区域中的像素的掩码像素的像素值为第一值例如255，重合区域对应的掩码图中的除了像素值为第一值的掩码像素之外的掩码像素的像素值为第二值例如0。
第一非重合区域对应的掩码图中的每一个掩码像素各自对应人脸图像中的一个像素。对于第一非重合区域对应的掩码图中的每一个掩码像素，该掩码像素在第一非重合区域对应的掩码图中的位置与该掩码像素对应的一个像素在人脸图像中的位置相同。在第一非重合区域对应的掩码图中，对应于第一非重合区域中的像素的掩码像素的像素值为第一值例如255，第一非重合区域对应的掩码图中的除了像素值为第一值的掩码像素之外的掩码像素的像素值为第二值例如0。
第二非重合区域对应的掩码图中的每一个掩码像素各自对应人脸图像中的一个像素。对于第二非重合区域对应的掩码图中的每一个掩码像素，该掩码像素在第二非重合区域对应的掩码图中的位置与该掩码像素对应的一个像素在人脸图像中的位置相同。在第二非重合区域对应的掩码图中，对应于第二非重合区域中的像素的掩码像素的像素值为第一值，第二非重合区域对应的掩码图中的除了像素值为第一值的掩码像素之外的掩码像素的像素值为第二值例如0。
在本公开中，对于遍历到的任意一个当前像素，可以分别查询每一个掩码图中位置与该当前像素的位置相同的掩码像素的像素值。
在查询到其他皮肤区域对应的掩码图中位置与该当前像素的位置相同的掩码像素的像素值为第一值时，可以确定该当前像素位于其他皮肤区域中，可以不对该当前像素的像素值进行修改，继续访问该当前像素的下一个像素。
在查询到重合区域对应的掩码图中位置与该当前像素的位置相同的掩码像素的像素值为第一值时，可以确定该当前像素位于重合区域中，可以不对该当前像素的像素值进行修改，继续访问该当前像素的下一个像素。
在查询到第一非重合区域对应的掩码图中位置与该当前像素的位置相同的掩码像素的像素值为第一值时，可以确定该当前像素位于第一非重合区域中。然后，可以基于其他皮肤区域中用于替换该当前像素的皮肤像素的像素值，修改该当前像素的像素值。
在查询到第二非重合区域对应的掩码图中位置与该当前像素的位置相同的掩码像素的像素值为第一值时，确定该当前像素位于第二非重合区域中。然后，可以基于原始眉毛区域中用于替换该当前像素的原始眉毛像素的像素值，修改该当前像素的像素值。
在本公开中，对于遍历到的任意一个当前像素，均可以通过查询各个区域对应的掩码图，快速地确定当前像素所在的区域，根据当前像素所在的区域，确定是否对当前像素的像素值进行修改，从而，减少图像处理的耗时，提升图像处理的速度。
图2是根据一示例性实施例示出的一种图像处理装置的结构框图。参照图2，图像处理装置包括：叠加模块201，确定模块202，处理模块203。
叠加模块201被配置为响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛的位置对应的位置，其中，所述原始眉毛的位置由所述原始眉毛的轮廓的中心的位置表征；
确定模块202被配置为确定确定所述人脸图像中的重合区域、第一非重合区域、第二非重合区域和除了所述重合区域、第一非重合区域、第二非重合区域之外的其他皮肤区域，其中，所述重合区域为同时属于原始眉毛区域和目标眉毛区域的区域，所述第一非重合区域为属于原始眉毛区域并且不属于目标眉毛区域的区域，所述第二非重合区域为属于目标眉毛区域并且不属于原始眉毛区域的区域；
处理模块203被配置为对所述人脸图像进行像素替换处理，得到经过处理的人脸图像，所述像素替换处理包括：遍历所述人脸图像中的像素，对于遍历到的当前像素，当所述当前像素位于所述第一非重合区域中时，基于所述其他皮肤区域中用于替换所述当前像素的皮肤像素的像素值，修改所述当前像素的像素值；当所述当前像素位于所述第二非重合区域中时，基于所述原始眉毛区域中用于替换所述当前像素的原始眉毛像素的像素值，修改所述当前像素的像素值。
在一些实施例中，在一些实施例中，处理模块包括：
第一替换子模块，被配置为将所述其他皮肤区域中与所述当前像素的距离最近的皮肤像素确定为用于替换所述当前像素的皮肤像素；将所述当前像素的像素值修改为所述用于替换所述当前像素的皮肤像素的像素值。
在一些实施例中，处理模块包括：
第二替换子模块，被配置为将所述原始眉毛区域中与所述当前像素的距离最近的原始眉毛像素确定为用于替换所述当前像素的原始眉毛像素；将所述当前像素的像素值修改为所述用于替换所述当前像素的原始眉毛像素的像素值。
在一些实施例中，图像处理装置还包括：
查询模块，被配置为在查询到所述第一非重合区域对应的掩码图中位置与所述当前像素的位置相同的掩码像素的像素值为第一值时，确定所述当前像素位于所述第一非重合区域中；在查询到所述第二非重合区域对应的掩码图中位置与所述当前像素的位置相同的掩码像素的像素值为所述第一值时，确定所述当前像素位于所述第二非重合区域中。
在一些实施例中，图像处理装置还包括：
定位模块，被配置为在响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛的位置对应的位置之前，对所述人脸图像进行人脸关键点检测，得到眉毛关键点；基于所述眉毛关键点，确定原始眉毛的边缘；将所述原始眉毛的边缘包围的区域确定为所述原始眉毛区域。
在一些实施例中，在一些实施例中，图像处理装置还包括：
优化模块，被配置为在得到经过处理的人脸图像之后，对所述经过处理的人脸图像进行柏松克隆处理，得到目标人脸图像。
图3是根据一示例性实施例示出的电子设备300的框图。例如，电子设备300可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图3，电子设备300可以包括以下一个或多个组件：处理组件302、存储器304、电力组件306、多媒体组件308、音频组件310、输入/输出(I/O)的接口312、传感器组件314以及通信组件316。
处理组件302通常控制电子设备300的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件302可以包括一个或多个处理器320来执行指令，以完成上述的图像处理方法的全部或部分步骤。此外，处理组件302可以包括一个或多个模块，便于处理组件302和其他组件之间的交互。例如，处理组件302可以包括多媒体模块，以方便多媒体组件308和处理组件302之间的交互。
存储器304被配置为存储各种类型的数据以支持在电子设备300的操作。这些数据的示例包括用于在电子设备300上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。
电源组件306为电子设备300的各种组件提供电力。电源组件306可以包括电源管理系统，一个或多个电源，及其他与为设备电子300生成、管理和分配电力相关联的组件。
多媒体组件308包括在所述电子设备300和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件308包括一个目标摄像头和/或后置摄像头。当电子设备300处于操作模式，如拍摄模式或视频模式时，目标摄像头和/或后置摄像头可以接收外部的多媒体数据。每个目标摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件310被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当电子设备300处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器304或经由通信组件316发送。在一些实施例中，音频组件310还包括一个扬声器，用于输出音频信号。
I/O接口312为处理组件302和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件314包括一个或多个传感器，用于为电子设备300提供各个方面的状态评估。例如，传感器组件314可以检测到电子设备300的打开/关闭状态，组件的相对定位，例如所述组件为电子设备300的显示器和小键盘，传感器组件314还可以检测电子设备300或电子设备300一个组件的位置改变，用户与电子设备300接触的存在或不存在，电子设备300方位或加速/减速和电子设备300的温度变化。传感器组件314可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件314还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件314还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件316被配置为便于电子设备300和其他设备之间有线或无线方式的通信。电子设备300可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或6G)，或它们的组合。在一个示例性实施例中，通信组件316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件316还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像处理方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述图像处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述图像处理方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，本申请还提供一种计算机程序产品，包括计算机可读代码，当计算机可读代码在电子设备上运行时，使得电子设备执行上述图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (15)
1.一种图像处理方法，其特征在于，所述方法包括：
响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛的位置对应的位置，其中，所述原始眉毛的位置由所述原始眉毛的轮廓的中心的位置表征；
确定所述人脸图像中的重合区域、第一非重合区域、第二非重合区域和除了所述重合区域、所述第一非重合区域、所述第二非重合区域之外的其他皮肤区域，其中，所述重合区域为同时属于原始眉毛区域和目标眉毛区域的区域，所述第一非重合区域为属于原始眉毛区域并且不属于目标眉毛区域的区域，所述第二非重合区域为属于目标眉毛区域并且不属于原始眉毛区域的区域；
对所述人脸图像进行像素替换处理，得到经过处理的人脸图像，所述像素替换处理包括：遍历所述人脸图像中的像素，对于遍历到的当前像素，当所述当前像素位于所述第一非重合区域中时，基于所述其他皮肤区域中用于替换所述当前像素的皮肤像素的像素值，修改所述当前像素的像素值；当所述当前像素位于所述第二非重合区域中时，基于所述原始眉毛区域中用于替换所述当前像素的原始眉毛像素的像素值，修改所述当前像素的像素值。
2.根据权利要求1所述的方法，其特征在于，当所述当前像素位于所述第一非重合区域中时，基于所述其他皮肤区域中用于替换所述当前像素的皮肤像素的像素值，修改所述当前像素的像素值包括：
将所述其他皮肤区域中与所述当前像素的距离最近的皮肤像素确定为用于替换所述当前像素的皮肤像素；
将所述当前像素的像素值修改为所述用于替换所述当前像素的皮肤像素的像素值。
3.根据权利要求1所述的方法，其特征在于，当所述当前像素位于所述第二非重合区域中时，基于所述原始眉毛区域中用于替换所述当前像素的原始眉毛像素的像素值，修改所述当前像素的像素值包括：
将所述原始眉毛区域中与所述当前像素的距离最近的原始眉毛像素确定为用于替换所述当前像素的原始眉毛像素；
将所述当前像素的像素值修改为所述用于替换所述当前像素的原始眉毛像素的像素值。
4.根据权利要求1所述的方法，其特征在于，所述像素替换处理还包括：
在查询到所述第一非重合区域对应的掩码图中位置与所述当前像素的位置相同的掩码像素的像素值为第一值时，确定所述当前像素位于所述第一非重合区域中；
在查询到所述第二非重合区域对应的掩码图中位置与所述当前像素的位置相同的掩码像素的像素值为所述第一值时，确定所述当前像素位于所述第二非重合区域中。
5.根据权利要求1所述的方法，其特征在于，在所述响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛的位置对应的位置之前，所述方法还包括：
对所述人脸图像进行人脸关键点检测，得到眉毛关键点；
基于所述眉毛关键点，确定原始眉毛的边缘；
将所述原始眉毛的边缘包围的区域确定为所述原始眉毛区域。
6.根据权利要求1－5中任一项所述的方法，其特征在于，在所述得到经过处理的人脸图像之后，所述方法还包括：
对所述经过处理的人脸图像进行柏松克隆处理，得到目标人脸图像。
7.一种图像处理装置，其特征在于，所述装置包括：
叠加模块，被配置为响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛的位置对应的位置，其中，所述原始眉毛的位置由所述原始眉毛的轮廓的中心的位置表征；
确定模块，被配置为确定确定所述人脸图像中的重合区域、第一非重合区域、第二非重合区域和除了所述重合区域、第一非重合区域、第二非重合区域之外的其他皮肤区域，其中，所述重合区域为同时属于原始眉毛区域和目标眉毛区域的区域，所述第一非重合区域为属于原始眉毛区域并且不属于目标眉毛区域的区域，所述第二非重合区域为属于目标眉毛区域并且不属于原始眉毛区域的区域；
处理模块，被配置为对所述人脸图像进行像素替换处理，得到经过处理的人脸图像，所述像素替换处理包括：遍历所述人脸图像中的像素，对于遍历到的当前像素，当所述当前像素位于所述第一非重合区域中时，基于所述其他皮肤区域中用于替换所述当前像素的皮肤像素的像素值，修改所述当前像素的像素值；当所述当前像素位于所述第二非重合区域中时，基于所述原始眉毛区域中用于替换所述当前像素的原始眉毛像素的像素值，修改所述当前像素的像素值。
8.根据权利要求7所述的装置，其特征在于，所述处理模块包括：
第一替换子模块，被配置为当所述当前像素位于所述第一非重合区域中时，将所述其他皮肤区域中与所述当前像素的距离最近的皮肤像素确定为用于替换所述当前像素的皮肤像素；将所述当前像素的像素值修改为所述用于替换所述当前像素的皮肤像素的像素值。
9.根据权利要求7所述的装置，其特征在于，所述处理模块包括：
第二替换子模块，被配置为当所述当前像素位于所述第二非重合区域中时，将所述原始眉毛区域中与所述当前像素的距离最近的原始眉毛像素确定为用于替换所述当前像素的原始眉毛像素；将所述当前像素的像素值修改为所述用于替换所述当前像素的原始眉毛像素的像素值。
10.根据权利要求7所述的装置，其特征在于，所述图像处理装置还包括：
查询模块，被配置为在查询到所述第一非重合区域对应的掩码图中位置与所述当前像素的位置相同的掩码像素的像素值为第一值时，确定所述当前像素位于所述第一非重合区域中；在查询到所述第二非重合区域对应的掩码图中位置与所述当前像素的位置相同的掩码像素的像素值为所述第一值时，确定所述当前像素位于所述第二非重合区域中。
11.根据权利要求7所述的装置，其特征在于，所述图像处理装置还包括：
定位模块，被配置为在所述响应于眉型修改指令，将目标眉毛形状叠加到人脸图像中的与原始眉毛的位置对应的位置之前，对所述人脸图像进行人脸关键点检测，得到眉毛关键点；基于所述眉毛关键点，确定原始眉毛的边缘；将所述原始眉毛的边缘包围的区域确定为所述原始眉毛区域。
12.根据权利要求7－11中任一项所述的装置，其特征在于，所述图像处理装置还包括：
优化模块，被配置为在所述得到经过处理的人脸图像之后，对所述经过处理的人脸图像进行柏松克隆处理，得到目标人脸图像。
13.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的方法。
14.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的方法。
15.一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在电子设备上运行时，使得所述电子设备执行如权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110528332.7A CN113409185B (zh) | 2021-05-14 | 2021-05-14 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110528332.7A CN113409185B (zh) | 2021-05-14 | 2021-05-14 | 图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113409185A CN113409185A (zh) | 2021-09-17 |
| CN113409185B true CN113409185B (zh) | 2024-03-05 |
Family
ID=77678494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110528332.7A Active CN113409185B (zh) | 2021-05-14 | 2021-05-14 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113409185B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3152362U (ja) * | 2009-05-15 | 2009-07-30 | 株式会社コーセー | 眉毛整形用シールおよびこれを貼付したシート状媒体 |
| CN107464253A (zh) * | 2017-07-10 | 2017-12-12 | 北京小米移动软件有限公司 | 眉毛定位方法及装置 |
| CN107862663A (zh) * | 2017-11-09 | 2018-03-30 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、可读存储介质和计算机设备 |
| CN108062742A (zh) * | 2017-12-31 | 2018-05-22 | 广州二元科技有限公司 | 一种利用数字图像处理和变形的眉毛更换方法 |
| CN108257084A (zh) * | 2018-02-12 | 2018-07-06 | 北京中视广信科技有限公司 | 一种基于移动端的轻量级人脸自动化妆方法 |
| RU2671771C1 (ru) * | 2018-01-24 | 2018-11-06 | Елена Юрьевна Гаркина | Способ пигментирования кожи бровей |
| CN110222566A (zh) * | 2019-04-30 | 2019-09-10 | 北京迈格威科技有限公司 | 一种人脸特征的获取方法、装置、终端及存储介质 |
| CN110335332A (zh) * | 2019-05-14 | 2019-10-15 | 杭州火烧云科技有限公司 | 一种人脸卡通画自动绘制方法 |
| CN112686818A (zh) * | 2020-12-29 | 2021-04-20 | 维沃移动通信有限公司 | 人脸图像处理方法、装置及电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6458569B2 (ja) * | 2015-03-12 | 2019-01-30 | オムロン株式会社 | 画像処理装置および画像処理方法 |
| US10803677B2 (en) * | 2018-04-30 | 2020-10-13 | Mathew Powers | Method and system of automated facial morphing for eyebrow hair and face color detection |
-
2021
- 2021-05-14 CN CN202110528332.7A patent/CN113409185B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3152362U (ja) * | 2009-05-15 | 2009-07-30 | 株式会社コーセー | 眉毛整形用シールおよびこれを貼付したシート状媒体 |
| CN107464253A (zh) * | 2017-07-10 | 2017-12-12 | 北京小米移动软件有限公司 | 眉毛定位方法及装置 |
| CN107862663A (zh) * | 2017-11-09 | 2018-03-30 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、可读存储介质和计算机设备 |
| CN108062742A (zh) * | 2017-12-31 | 2018-05-22 | 广州二元科技有限公司 | 一种利用数字图像处理和变形的眉毛更换方法 |
| RU2671771C1 (ru) * | 2018-01-24 | 2018-11-06 | Елена Юрьевна Гаркина | Способ пигментирования кожи бровей |
| CN108257084A (zh) * | 2018-02-12 | 2018-07-06 | 北京中视广信科技有限公司 | 一种基于移动端的轻量级人脸自动化妆方法 |
| CN110222566A (zh) * | 2019-04-30 | 2019-09-10 | 北京迈格威科技有限公司 | 一种人脸特征的获取方法、装置、终端及存储介质 |
| CN110335332A (zh) * | 2019-05-14 | 2019-10-15 | 杭州火烧云科技有限公司 | 一种人脸卡通画自动绘制方法 |
| CN112686818A (zh) * | 2020-12-29 | 2021-04-20 | 维沃移动通信有限公司 | 人脸图像处理方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113409185A (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10565763B2 (en) | Method and camera device for processing image | |
| CN112330570B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111078170B (zh) | 显示控制方法、显示控制装置及计算机可读存储介质 | |
| CN112927122A (zh) | 水印去除方法、装置及存储介质 | |
| CN112308864A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN107424130B (zh) | 图片美颜方法和装置 | |
| CN113656627B (zh) | 肤色分割方法、装置、电子设备及存储介质 | |
| CN113888543B (zh) | 肤色分割方法、装置、电子设备及存储介质 | |
| CN108470321B (zh) | 照片的美颜处理方法、装置和存储介质 | |
| CN107992894B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN107730443B (zh) | 图像处理方法、装置及用户设备 | |
| CN112004020B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112381091A (zh) | 视频内容识别方法、装置、电子设备及存储介质 | |
| CN113642551A (zh) | 指甲关键点检测方法、装置、电子设备及存储介质 | |
| EP3173949A1 (en) | Method and device for pushing user information | |
| CN113409185B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114666490B (zh) | 对焦方法、装置、电子设备和存储介质 | |
| US11600300B2 (en) | Method and device for generating dynamic image | |
| US11252341B2 (en) | Method and device for shooting image, and storage medium | |
| CN109389547B (zh) | 图像显示方法及装置 | |
| CN114418865A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN108769513B (zh) | 相机拍照方法及装置 | |
| CN107608506B (zh) | 图片处理方法及装置 | |
| CN111241097B (zh) | 处理对象的方法、处理对象的装置及存储介质 | |
| CN114693707B (zh) | 物体轮廓模板获取方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |