CN113421204A - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents
图像处理方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113421204A CN113421204A CN202110780339.8A CN202110780339A CN113421204A CN 113421204 A CN113421204 A CN 113421204A CN 202110780339 A CN202110780339 A CN 202110780339A CN 113421204 A CN113421204 A CN 113421204A
- Authority
- CN
- China
- Prior art keywords
- initial
- target
- key points
- key point
- keypoints
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 230000006870 function Effects 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 32
- 230000003190 augmentative effect Effects 0.000 claims description 17
- 210000001747 pupil Anatomy 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 210000004709 eyebrow Anatomy 0.000 claims description 14
- 210000001061 forehead Anatomy 0.000 claims description 10
- 238000007493 shaping process Methods 0.000 claims description 6
- 239000002537 cosmetic Substances 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 2
- 238000013213 extrapolation Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 18
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002087 whitening effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开提供了图像处理方法、装置、电子设备及可读存储介质，涉及计算机技术领域，尤其涉及图像处理、计算机视觉、深度学习等人工智能领域。具体实现方案为：获取待处理图像的初始关键点；基于预设规则将初始关键点进行外移，得到扩充关键点；从初始关键点以及扩充关键点中组成的关键点集合中，选取与目标功能对应的目标关键点；基于目标关键点对待处理图像进行目标功能的处理。由于是使用初始关键点以及扩充关键点来进行人脸美化，相较于仅使用通过关键点检测模型检测出的关键点进行人脸美化，扩充了关键点的数量，从而能够提升人脸的美化效果。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及图像处理、计算机视觉、深度学习等人工智能领域，具体而言，本公开涉及一种图像处理方法、装置、电子设备及可读存储介质。
背景技术
目前，人脸美化技术被广泛应用，人脸美化技术中需要应用到人脸剖分技术，人脸剖分技术是基于人脸关键点检测，将这些关键点构建成一个个三角形，然后根据不同的部位选择对应的三角形进行组合实现不同的处理效果。
现有方式中一般是直接使用算法检测的关键点进行处理，但是算法返回的关键点有限，不能满足所有场景，影响人脸美化的效果。
发明内容
本公开为了解决上述缺陷中的至少一项，提供了一种图像处理方法、装置、电子设备及可读存储介质。
根据本公开的第一方面，提供了一种图像处理方法，该方法包括：
获取待处理图像的初始关键点；
基于预设规则将初始关键点进行外移，得到扩充关键点；；
从初始关键点以及扩充关键点中组成的关键点集合中，选取与目标功能对应的目标关键点；
基于目标关键点对待处理图像进行目标功能的处理。
根据本公开的第二方面，提供了一种图像处理装置，该装置包括：
关键点确定模块，用于获取待处理图像的初始关键点；
关键点扩充模块，用于基于预设规则将初始关键点进行外移，得到扩充关键点；
关键点选取模块，用于从初始关键点以及扩充关键点中组成的关键点集合中，选取与目标功能对应的目标关键点；
图像处理模块，用于基于目标关键点对待处理图像进行目标功能的处理。
根据本公开的第三方面，提供了一种电子设备，该电子设备包括：
至少一个处理器；以及
与上述至少一个处理器通信连接的存储器；其中，
存储器存储有可被上述至少一个处理器执行的指令，指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述图像处理方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使计算机执行上述图像处理方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述图像处理方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开实施例提供的一种图像处理方法的流程示意图；
图2是本公开实施例提供的在对人脸进行腮红处理时的三角剖分网络示意图；
图3中是本公开实施例提供的在对上半脸进行美妆时的三角剖分网络示意图；
图4是本公开实施例提供的在对人脸皮肤区域进行美妆时的三角剖分网络示意图；
图5是本公开实施例提供的在对人脸进行塑形时的三角剖分网络示意图；
图6是本公开实施例提供的美瞳图像的示意图；
图7是本公开实施例提供的蒙版的示意图；
图8是根据本公开提供的一种图像处理装置的结构示意图；
图9是用来实现本公开实施例的图像处理方法的电子设备的框图；
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示出了本公开实施例提供的一种图像处理方法的流程示意图，如图1中所示，该方法主要可以包括：
步骤S110:获取待处理图像的初始关键点。
其中，待处理图像为需要进行人脸美化的图像，待处理图像中包含人脸。待处理图像可以由终端设备实时采集的图像，也可以为视频中的帧图像。
可以通过预设的关键点检测模型对待处理图像中的人脸进行关键点检测，得到初始关键点。
步骤S120:基于预设规则将初始关键点进行外移，得到扩充关键点。
其中，扩充关键点是基于预设规则对初始关键点外移得到的，能够表征人脸的关键信息。使用初始关键点以及扩充关键点来进行人脸美化，相较于仅使用通过关键点检测模型检测出的关键点进行人脸美化，扩充了关键点的数量，从而能够提升人脸的美化效果。
步骤S130:从初始关键点以及扩充关键点中组成的关键点集合中，选取与目标功能对应的目标关键点。
步骤S140:基于目标关键点对待处理图像进行目标功能的处理。
其中，关键点集合即由初始关键点与扩充关键点组合成的关键点集合。在进行目标功能的美化时，可以从关键点集合选取目标关键点进行处理。
作为一个示例，可以将关键点集合构建为一个顶点缓冲区对象(Vertex BufferObjects，VBO)的数组，这个数组中存储了关键点集合中所有关键点的顶点位置信息。
在实际使用中，可以针对每个待处理图像分别构建关键点集合。
可以指定目标功能与目标关键点的对应关系，从而实现对目标关键点的选取。具体地，可以对关键点集合中各关键点进行编码，而后根据编码与目标功能的对应关系，确定出目标关键点。
由于不同的人脸美化功能可能对应不同的人脸区域，因此通过针对不同的目标功能分别确定目标关键点，并根据目标关键点进行人脸美化，能够减少对内存的占用，
本公开实施例提供的方法，通过获取待处理图像的初始关键点，基于预设规则将初始关键点进行外移，得到扩充关键点，从初始关键点以及扩充关键点中组成的关键点集合中，选取与目标功能对应的目标关键点，基于目标关键点对待处理图像进行目标功能的处理。由于是使用初始关键点以及扩充关键点来进行人脸美化，相较于仅使用通过关键点检测模型检测出的关键点进行人脸美化，扩充了关键点的数量，从而能够提升人脸的美化效果。
本公开的一种可选方式中，基于预设规则将初始关键点进行外移，得到扩充关键点，包括：
基于预设的外移参数对初始关键点的第一坐标进行外移，得到扩充关键点的第二坐标。
其中，可以通过配置外移参数对初始关键点进行外移，得到扩充关键点。
具体而言，可以针对各关键点构建坐标系，确定出各初始关键点的坐标信息，针对其中一个初始关键点，可以将其第一坐标与外移参数相乘，所得到的第二坐标即为扩充关键点的坐标，遍历各初始关键点，并进行上述与外移参数相乘的计算，从而能够确定出各初始关键点所对应的第一层级的扩充关键点。
外移参数可以根据实验值和/或经验值确定，外移参数与初始关键点的第一坐标相乘后，能够实现将初始关键点外移的效果。
本公开的一种可选方式中，基于预设的外移参数对初始关键点的第一坐标进行外移，得到扩充关键点的第二坐标，包括：
基于预设的外移参数对初始关键点的第一坐标，进行预设数目次数的外移，得到预设数目层级的扩充关键点的第二坐标。
本申请实施例中，扩充关键点可以包括多层级，以满足不同的人脸美化功能的需求。可以根据需要指定预设数目的值，例如，预设数目可以指定为三。
在实际使用中，可以通过初始关键点的第一坐标与外移参数相乘，得到第一层级的扩充关键点的第二坐标。
在得到第一层级的扩充关键点后，可以将第一层级的扩充关键点的坐标分别与外移参数相乘，从而外移出得到第二层级的扩充关键点。
在计算下一层级扩充关键点时，可以通过将上一层级扩充关键点的坐标分别与外移参数相乘的方式计算得到。
在实际使用中，可以将第一次外移出的扩充关键点作为第一层级的扩充关键点，将由第一层级的扩充关键点外移出的扩充关键点作为第二层级的扩充关键点，将由第二层级的扩充关键点外移出的扩充关键点作为第三层级的扩充关键点。
通过使用外移参数，实现对关键点的扩充，并且扩充的关键点与原关键点位置接近，能够表征人脸图像的关键信息。
外移参数的具体值可以根据实验值/经验值得到。
本公开的一种可选方式中，基于目标关键点对待处理图像进行目标功能的处理，包括：
基于目标关键点构建三角剖分网格；
基于三角剖分网络确定目标区域；
对待处理图像中的目标区域进行目标功能的处理。
其中，在选取与目标功能相对应的目标关键点后，可以基于目标关键点构建三角剖分网格，而后从三角剖分网格中选取目标区域进行相应功能的人脸美化。
由于通过扩充关键点增加了关键点的数量，因此，使得构建出的三角剖分网络中的目标区域能够相应的进行区域扩充，或者，目标区域内的关键点的数量能够内增加。
通过扩充了区域的目标区域，或者扩充了关键点数量的目标区域进行人脸美化能够实现更好的人脸美化效果。
作为一个示例，图2中示出了本公开实施例中提供的在对人脸进行腮红处理时的三角剖分网络示意图，通过在针对人脸的脸颊部分对应的目标区域进行美化实现腮红效果时，脸颊区域内的关键点数量得到了扩充，能够对脸颊区域剖分加细，能够使得实现的腮红效果更为细致，在不同俯仰，不同侧脸时候腮红的拉伸变形较小。
本公开的一种可选方式中，目标功能为对眉毛区域的美化，则目标关键点包括第一初始关键点与第一扩充关键点，其中第一初始关键点为与眉毛区域相对应的初始关键点，第一扩充关键点为位于第一初始关键点上侧且由第一初始关键点外移得到的第一数目层级的扩充关键点，目标区域为三角剖分网络中由第一初始关键点与第一扩充关键点所围成的区域。
其中，对眉毛区域的美化，即对眉毛进行美妆，在眉毛区域内绘制预设粗细或者预设形状的眉毛。
图3中示出了本公开实施例中提供的对上半脸进行美妆时的三角剖分网络示意图。在对眉毛区域进行美化时，目标关键点可以包括眉毛区域对应的第一初始关键点，以及由第一初始关键点扩充出的扩充关键点，如图3中所示，能够实现对眉毛区域向上侧进行扩充，从而使得在目标区域内能够有足够的空间进行任意粗细或者任意复杂形状的眉毛的绘制。
第一数目层级可以根据实际需要进行设定，如可以指定为一层，通过对扩展层级的指定，能够控制目标区域扩展的范围。
本公开的一种可选方式中，若目标功能为对眼睛区域的美化，则目标关键点包括第二初始关键点与第二扩充关键点，其中第二初始关键点为与眼睛区域相对应的初始关键点，第二扩充关键点为由第二初始关键点外移得到的第二数目层级的扩充关键点，目标区域为三角剖分网络中第二初始关键点与第二扩充关键点之间的区域。
其中，对眼睛区域的美化，即绘制眼妆，如实现“贴钻眼妆”的效果，即在眼睛周围绘制眼妆效果。
在对眼睛区域进行美化时，目标关键点可以包括眼睛区域对应的第二初始关键点，以及由第二初始关键点外移得到的扩充关键点，目标区域可以为由第二初始关键点与第二扩充关键点之间的区域，如图3所示，即环绕眼睛外扩出一部分区域，在该目标区域内进行眼妆的绘制。由于目标区域是在眼睛部分进行外扩，在目标区域内绘制眼妆，使得在眼睛闭合时，眼妆也不至于移动至眼睛位置，能够保证眼妆效果的实现。
第二数目层级可以根据实际需要进行设定，如可以指定为一层，通过对扩展层级的指定，能够控制目标区域扩展的范围。
本公开的一种可选方式中，若目标功能为对人脸皮肤区域的美化，则目标关键点包括第三初始关键点与第三扩充关键点，其中第三初始关键点为与人脸皮肤区域相对应的初始关键点，第三扩充关键点由位于人脸皮肤区域的额头区域以及下巴区域的第三初始关键点外移得到第三数目层级的扩充关键点，目标区域为三角剖分网络中由第三初始关键点与第三扩充关键点所围成的区域。
其中，对人脸皮肤区域的美化，即对皮肤进行美白或者磨皮，使得脸部皮肤看起更加白皙光滑。
图4中示出了本公开实施例中提供的在对人脸皮肤区域进行美妆时的三角剖分网络示意图。在对皮肤区域进行美化时，目标关键点可以包括人脸皮肤区域对应的第三初始关键点，以及针对额头区域以及下巴区域处的第三初始关键点外移得到的扩充关键点，目标区域可以在常规的人脸皮肤区域之外扩充了第三初始关键点与第三扩充关键点之间的区域，如图4中所示，即在人脸皮肤区域的基础上在额头区域以及下巴区域针对性的扩充出一部分区域，从而使得在对皮肤美白时，能够保证人脸在任意俯仰或侧脸情况下，美白功能能够精准地覆盖到人脸全部的皮肤区域，从而实现精准的皮肤区域磨皮效果。
在实际使用中，也可以对人脸皮肤区域进行一层级的关键点扩充，对人脸皮肤区域的额头区域以及下巴区域进行二层级的关键点扩充。
本公开的一种可选方式中，若目标功能为对人脸的塑形，则目标关键点包括第四初始关键点与第四扩充关键点，其中，第四初始关键点为与人脸区域相对应的初始关键点，第四扩充关键点由位于人脸区域外轮廓的第四初始关键点扩充出的第四数目层级的扩充关键点，目标区域为由第四初始关键点与第四扩充关键点围成的区域。
其中，对人脸的塑形，即基于人脸关键点实现人脸图片的美学分析，并通过美颜及美型点位调节能力，进行智能美化，使面部比例及整体状态更符合美学标准。
图5中示出了本公开实施例中提供的在对人脸塑形时的三角剖分网络示意图。在对人脸进行塑形时，目标关键点可以包括人脸区域对应的第四初始关键点，以及针对人脸区域外轮廓处的第四初始关键点扩充出的第四扩充关键点。
作为一个示例，第四数目层级可以设定为三，即目标关键点为第四初始关键点，第四初始关键点扩充出第一层级扩充关键点，第二层级扩充关键点以及第三层级扩充关键点。此时，目标区域开可以为四初始关键点与第四扩充关键点所围成的区域。在针对人脸进行塑形时，可以针对这部分目标区域内的关键点进行位置调整，目标区域之外的背景图像不受影响，使得脸型调整对整体背景的影响较小。
在上述示例中，还可以对额头部分的关键点进行进一步扩充，如图5中所示，即对额头区域的第四初始关键点扩充出第四层级的扩充关键点，使得目标区域中额头部分空间较大，使得额头上下移动调整的时候对头发部分的影响较少。
本公开的一种可选方式中，获取待处理图像的初始关键点之前，方法还包括：
获取初始图像；
对初始图像进行人脸检测；
若检测到初始图像中存在人脸，则将初始图像确定为待处理图像。
其中，初始图像可以包括但是不限于视频中提取的帧图像。
对初始图像进行人脸检测，能够确定出初始图像中是否存在人脸，如果存在，则可以将初始图像确定为待处理图像，并进行人脸美化。
本公开的一种可选方式中，还包括：
基于人眼区域对应的目标关键点的位置信息，构建蒙版；
基于蒙版与预设美瞳图像，对待处理图像进行处理。
本公开实施例中，还可以对瞳孔添加美瞳效果。具体而言，可以在提取瞳孔区域对应的目标关键点，根据瞳孔区域对应的目标关键点的位置信息来构建蒙版。如根据瞳孔区域中上眼睑部分对应的关键点与下眼睑部分对应的关键点的间距，对蒙版中瞳孔区域进行调整，使蒙版中瞳孔区域与人脸图像中瞳孔区域相对应，即使得人脸图像中眼睛在睁开，半睁开或者闭合时，蒙版中瞳孔区域与之相对应。
图6中示出了本公开实施例提供的美瞳图像的示意图，图7中示出了本公开实施例提供的蒙版的示意图。
在制作蒙版时，一般是将需要的区域保留，将其他部位透明化，本例中即将人眼部位保留，而保留的人眼的眼睛在睁开，半睁开或者闭合等不同状态时瞳孔区域，并将预设美瞳图像与蒙版结合，使得美瞳图片能够在瞳孔区域部分显示，与人眼的睁开，半睁开或者闭合等不同状态相适应。
基于与图1中所示的方法相同的原理，图8示出了本公开实施例提供的一种图像处理装置的结构示意图，如图8所示，该图像处理装置20可以包括：
关键点确定模块210，用于获取待处理图像的初始关键点；
关键点扩充模块220，用于基于预设规则将初始关键点进行外移，得到扩充关键点；
关键点选取模块230，用于从初始关键点以及扩充关键点中组成的关键点集合中，选取与目标功能对应的目标关键点；
图像处理模块240，用于基于目标关键点对待处理图像进行目标功能的处理。
本公开实施例提供的装置，通过获取待处理图像的初始关键点，基于初始关键点确定预设数目层级的扩充关键点，从初始关键点以及扩充关键点中组成的关键点集合中，选取与目标功能对应的目标关键点，基于目标关键点对待处理图像进行目标功能的处理。由于是使用初始关键点以及扩充关键点来进行人脸美化，相较于仅使用通过关键点检测模型检测出的关键点进行人脸美化，扩充了关键点的数量，从而能够提升人脸的美化效果。
可选地，关键点扩充模块具体用于：
基于预设的外移参数对初始关键点的第一坐标进行外移，得到扩充关键点的第二坐标。
可选地，关键点扩充模块在基于预设的外移参数对初始关键点的第一坐标进行外移，得到扩充关键点的第二坐标时，具体用于：
基于预设的外移参数对初始关键点的第一坐标，进行预设数目次数的外移，得到预设数目层级的扩充关键点的第二坐标。
可选地，图像处理模块具体用于：
基于目标关键点构建三角剖分网格；
基于三角剖分网络确定目标区域；
对待处理图像中的目标区域进行目标功能的处理。
可选地，若目标功能为对眉毛区域的美化，则目标关键点包括第一初始关键点与第一扩充关键点，其中第一初始关键点为与眉毛区域相对应的初始关键点，第一扩充关键点为位于第一初始关键点上侧且由第一初始关键点外移得到的第一数目层级的扩充关键点，目标区域为三角剖分网络中由第一初始关键点与第一扩充关键点所围成的区域。
可选地，若目标功能为对眼睛区域的美化，则目标关键点包括第二初始关键点与第二扩充关键点，其中第二初始关键点为与眼睛区域相对应的初始关键点，第二扩充关键点为由第二初始关键点外移得到的第二数目层级的扩充关键点，目标区域为三角剖分网络中第二初始关键点与第二扩充关键点之间的区域。
可选地，若目标功能为对人脸皮肤区域的美化，则目标关键点包括第三初始关键点与第三扩充关键点，其中第三初始关键点为与人脸皮肤区域相对应的初始关键点，第三扩充关键点由位于人脸皮肤区域的额头区域以及下巴区域的第三初始关键点外移得到的的第三数目层级的扩充关键点。
可选地，若目标功能为对人脸的塑形，则目标关键点包括第四初始关键点与第四扩充关键点，其中，第四初始关键点为与人脸区域相对应的初始关键点，第四扩充关键点由位于人脸区域外轮廓的第四初始关键点扩充出的第四数目层级的扩充关键点，目标区域为由第四初始关键点与第四扩充关键点围成的区域。
可选地，上述装置还包括人脸检测模块，用于：
获取初始图像；
对初始图像进行人脸检测；
若检测到初始图像中存在人脸，则将初始图像确定为待处理图像。
可选地，上述装置还包括美瞳处理模块，用于：
基于人眼区域对应的目标关键点的位置信息，构建蒙版；
基于蒙版与预设美瞳图像，对待处理图像进行处理。
可以理解的是，本公开实施例中的图像处理装置的上述各模块具有实现图1中所示的实施例中的图像处理方法相应步骤的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。上述模块可以是软件和/或硬件，上述各模块可以单独实现，也可以多个模块集成实现。对于上述图像处理装置的各模块的功能描述具体可以参见图1中所示实施例中的图像处理方法的对应描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开实施例提供的图像处理方法。
该电子设备与现有技术相比，通过获取待处理图像的初始关键点，基于初始关键点确定预设数目层级的扩充关键点，从初始关键点以及扩充关键点中组成的关键点集合中，选取与目标功能对应的目标关键点，基于目标关键点对待处理图像进行目标功能的处理。由于是使用初始关键点以及扩充关键点来进行人脸美化，相较于仅使用通过关键点检测模型检测出的关键点进行人脸美化，扩充了关键点的数量，从而能够提升人脸的美化效果。
该可读存储介质为存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如本公开实施例提供的图像处理方法。
该可读存储介质与现有技术相比，通过获取待处理图像的初始关键点，基于初始关键点确定预设数目层级的扩充关键点，从初始关键点以及扩充关键点中组成的关键点集合中，选取与目标功能对应的目标关键点，基于目标关键点对待处理图像进行目标功能的处理。由于是使用初始关键点以及扩充关键点来进行人脸美化，相较于仅使用通过关键点检测模型检测出的关键点进行人脸美化，扩充了关键点的数量，从而能够提升人脸的美化效果。
该计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开实施例提供的图像处理方法。
该计算机程序产品与现有技术相比，通过获取待处理图像的初始关键点，基于初始关键点确定预设数目层级的扩充关键点，从初始关键点以及扩充关键点中组成的关键点集合中，选取与目标功能对应的目标关键点，基于目标关键点对待处理图像进行目标功能的处理。由于是使用初始关键点以及扩充关键点来进行人脸美化，相较于仅使用通过关键点检测模型检测出的关键点进行人脸美化，扩充了关键点的数量，从而能够提升人脸的美化效果。
图9示出了可以用来实施本公开的实施例的示例电子设备2000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备2000包括计算单元2010，其可以根据存储在只读存储器(ROM)2020中的计算机程序或者从存储单元2080加载到随机访问存储器(RAM)2030中的计算机程序，来执行各种适当的动作和处理。在RAM 2030中，还可存储设备2000操作所需的各种程序和数据。计算单元2010、ROM 2020以及RAM 2030通过总线2040彼此相连。输入/输出(I/O)接口2050也连接至总线2040。
设备2000中的多个部件连接至I/O接口2050，包括：输入单元2060，例如键盘、鼠标等；输出单元2070，例如各种类型的显示器、扬声器等；存储单元2080，例如磁盘、光盘等；以及通信单元2090，例如网卡、调制解调器、无线通信收发机等。通信单元2090允许设备2000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元2010可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元2010的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元2010执行本公开实施例中所提供的图像处理方法。例如，在一些实施例中，执行本公开实施例中所提供的图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元2080。在一些实施例中，计算机程序的部分或者全部可以经由ROM 2020和/或通信单元2090而被载入和/或安装到设备2000上。当计算机程序加载到RAM 2030并由计算单元2010执行时，可以执行本公开实施例中所提供的图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元2010可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开实施例中所提供的图像处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (14)
1.一种图像处理方法，包括：
获取待处理图像的初始关键点；
基于预设规则将所述初始关键点进行外移，得到扩充关键点；
从所述初始关键点以及所述扩充关键点中组成的关键点集合中，选取与目标功能对应的目标关键点；
基于所述目标关键点对所述待处理图像进行所述目标功能的处理。
2.根据权利要求1所述的方法，其中，所述基于预设规则将所述初始关键点进行外移，得到扩充关键点，包括：
基于预设的外移参数对所述初始关键点的第一坐标进行外移，得到扩充关键点的第二坐标。
3.根据权利要求2所述的方法，其中，所述基于预设的外移参数对所述初始关键点的第一坐标进行外移，得到扩充关键点的第二坐标，包括：
基于预设的外移参数对所述初始关键点的第一坐标，进行预设数目次数的外移，得到预设数目层级的扩充关键点的第二坐标。
4.根据权利要求3所述的方法，其中，所述基于所述目标关键点对所述待处理图像进行所述目标功能的处理，包括：
基于所述目标关键点构建三角剖分网格；
基于所述三角剖分网络确定目标区域；
对所述待处理图像中的目标区域进行所述目标功能的处理。
5.根据权利要求4所述的方法，其中，若所述目标功能为对眉毛区域的美化，则所述目标关键点包括第一初始关键点与第一扩充关键点，其中，所述第一初始关键点为与所述眉毛区域相对应的初始关键点，所述第一扩充关键点为位于所述第一初始关键点上侧且由所述第一初始关键点外移得到的第一数目层级的扩充关键点，所述目标区域为所述三角剖分网络中由第一初始关键点与第一扩充关键点所围成的区域。
6.根据权利要求4所述的方法，其中，若所述目标功能为对眼睛区域的美化，则所述目标关键点包括第二初始关键点与第二扩充关键点，其中，所述第二初始关键点为与所述眼睛区域相对应的初始关键点，所述第二扩充关键点为由所述第二初始关键点外移得到的第二数目层级的扩充关键点，所述目标区域为所述三角剖分网络中第二初始关键点与第二扩充关键点之间的区域。
7.根据权利要求4所述的方法，其中，若所述目标功能为对人脸皮肤区域的美化，则所述目标关键点包括第三初始关键点与第三扩充关键点，其中，所述第三初始关键点为与所述人脸皮肤区域相对应的初始关键点，所述第三扩充关键点由位于所述人脸皮肤区域的额头区域以及下巴区域的所述第三初始关键点外移得到的第三数目层级的扩充关键点，所述目标区域为所述三角剖分网络中由第三初始关键点与第三扩充关键点所围成的区域。
8.根据权利要求4所述的方法，其中，若所述目标功能为对人脸的塑形，则所述目标关键点包括第四初始关键点与第四扩充关键点，其中，所述第四初始关键点为与人脸区域相对应的初始关键点，所述第四扩充关键点由位于所述人脸区域外轮廓的所述第四初始关键点扩充出的第四数目层级的扩充关键点，所述目标区域为由第四初始关键点与第四扩充关键点围成的区域。
9.根据权利要求1-8中任一项所述的方法，在获取待处理图像的初始关键点之前，所述方法还包括：
获取初始图像；
对所述初始图像进行人脸检测；
若检测到所述初始图像中存在人脸，则将所述初始图像确定为待处理图像。
10.根据权利要求1-9中任一项所述的方法，还包括：
基于所述人眼区域对应的目标关键点的位置信息，构建蒙版；
基于所述蒙版与预设美瞳图像，对所述待处理图像进行处理。
11.一种图像处理装置，包括：
关键点确定模块，用于获取待处理图像的初始关键点；
关键点扩充模块，用于基于所述初始关键点确定预设数目层级的扩充关键点；
关键点选取模块，用于从所述初始关键点以及所述扩充关键点中组成的关键点集合中，选取与目标功能对应的目标关键点；
图像处理模块，用于基于所述目标关键点对所述待处理图像进行所述目标功能的处理。
12.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
13.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。
14.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110780339.8A CN113421204A (zh) | 2021-07-09 | 2021-07-09 | 图像处理方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110780339.8A CN113421204A (zh) | 2021-07-09 | 2021-07-09 | 图像处理方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113421204A true CN113421204A (zh) | 2021-09-21 |
Family
ID=77721769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110780339.8A Pending CN113421204A (zh) | 2021-07-09 | 2021-07-09 | 图像处理方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113421204A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113961746A (zh) * | 2021-09-29 | 2022-01-21 | 北京百度网讯科技有限公司 | 视频生成方法、装置、电子设备及可读存储介质 |
| CN115423827A (zh) * | 2022-11-03 | 2022-12-02 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| WO2023045941A1 (zh) * | 2021-09-27 | 2023-03-30 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785259A (zh) * | 2019-01-09 | 2019-05-21 | 成都品果科技有限公司 | 一种实时美瞳方法及装置 |
| CN111489311A (zh) * | 2020-04-09 | 2020-08-04 | 北京百度网讯科技有限公司 | 一种人脸美化方法、装置、电子设备及存储介质 |
| CN111882627A (zh) * | 2020-07-20 | 2020-11-03 | 广州市百果园信息技术有限公司 | 图像处理方法、视频处理方法、装置、设备和存储介质 |
| CN112102198A (zh) * | 2020-09-17 | 2020-12-18 | 广州虎牙科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN112560555A (zh) * | 2019-09-25 | 2021-03-26 | 北京中关村科金技术有限公司 | 扩充关键点的方法、装置以及存储介质 |
-
2021
- 2021-07-09 CN CN202110780339.8A patent/CN113421204A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109785259A (zh) * | 2019-01-09 | 2019-05-21 | 成都品果科技有限公司 | 一种实时美瞳方法及装置 |
| CN112560555A (zh) * | 2019-09-25 | 2021-03-26 | 北京中关村科金技术有限公司 | 扩充关键点的方法、装置以及存储介质 |
| CN111489311A (zh) * | 2020-04-09 | 2020-08-04 | 北京百度网讯科技有限公司 | 一种人脸美化方法、装置、电子设备及存储介质 |
| CN111882627A (zh) * | 2020-07-20 | 2020-11-03 | 广州市百果园信息技术有限公司 | 图像处理方法、视频处理方法、装置、设备和存储介质 |
| CN112102198A (zh) * | 2020-09-17 | 2020-12-18 | 广州虎牙科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023045941A1 (zh) * | 2021-09-27 | 2023-03-30 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN113961746A (zh) * | 2021-09-29 | 2022-01-21 | 北京百度网讯科技有限公司 | 视频生成方法、装置、电子设备及可读存储介质 |
| CN113961746B (zh) * | 2021-09-29 | 2023-11-21 | 北京百度网讯科技有限公司 | 视频生成方法、装置、电子设备及可读存储介质 |
| CN115423827A (zh) * | 2022-11-03 | 2022-12-02 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113421204A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN114842123B (zh) | 三维人脸重建模型训练和三维人脸形象生成方法及装置 | |
| CN115049799B (zh) | 3d模型和虚拟形象的生成方法和装置 | |
| CN108734126B (zh) | 一种美颜方法、美颜装置及终端设备 | |
| CN114723888B (zh) | 三维发丝模型生成方法、装置、设备、存储介质及产品 | |
| CN113327278A (zh) | 三维人脸重建方法、装置、设备以及存储介质 | |
| CN114549710A (zh) | 一种虚拟形象的生成方法、装置、电子设备及存储介质 | |
| CN113362263A (zh) | 变换虚拟偶像的形象的方法、设备、介质及程序产品 | |
| CN114998490B (zh) | 一种虚拟对象生成方法、装置、设备及存储介质 | |
| CN116721460A (zh) | 手势识别方法、装置、电子设备以及存储介质 | |
| CN113327191A (zh) | 人脸图像合成方法及装置 | |
| CN111652795A (zh) | 脸型的调整、直播方法、装置、电子设备和存储介质 | |
| CN108898551A (zh) | 图像合并的方法和装置 | |
| CN113808249A (zh) | 图像处理方法、装置、设备和计算机存储介质 | |
| CN113380269A (zh) | 视频图像生成方法、装置、设备、介质和计算机程序产品 | |
| CN115359171B (zh) | 虚拟形象处理方法、装置、电子设备和存储介质 | |
| CN115661322B (zh) | 人脸纹理图像的生成方法、装置 | |
| CN115222895A (zh) | 图像生成方法、装置、设备以及存储介质 | |
| CN111612712B (zh) | 一种人脸端正度的确定方法、装置、设备及介质 | |
| CN113223128B (zh) | 用于生成图像的方法和装置 | |
| CN114333018A (zh) | 整形信息推荐方法、装置及电子设备 | |
| CN114092616A (zh) | 渲染方法、装置、电子设备和存储介质 | |
| CN113177879A (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN114037814B (zh) | 数据处理方法、装置、电子设备和介质 | |
| CN111652023A (zh) | 嘴型的调整、直播方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |