CN114724204A - 图像合成方法、装置、电子设备及存储介质 - Google Patents
图像合成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114724204A CN114724204A CN202110013274.4A CN202110013274A CN114724204A CN 114724204 A CN114724204 A CN 114724204A CN 202110013274 A CN202110013274 A CN 202110013274A CN 114724204 A CN114724204 A CN 114724204A
- Authority
- CN
- China
- Prior art keywords
- image
- mask
- face
- face image
- synthesis method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 30
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 12
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 12
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 24
- 238000004590 computer program Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 230000006978 adaptation Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请适用于图像处理技术领域,提供了图像合成方法、装置、电子设备及存储介质。图像合成方法包括获取人脸图像和第一口罩图像,第一口罩图像是口罩在未被佩戴状态下的图像,根据人脸图像调整第一口罩图像,得到第二口罩图像,第二口罩图像是口罩在被佩戴状态下的图像,合成人脸图像和第二口罩图像,得到佩戴口罩的人脸图像。即本申请通过调整口罩图像,使得口罩图像与人脸图像适配,再将调整后的口罩图像与人脸图像合成,得到佩戴口罩的人脸图像。因此,不用重新进行拍摄,对现有的人脸图像数据库中的人脸图像进行合成即可得到佩戴口罩的人脸图像,进而得到佩戴口罩的人脸图像数据库,提高了构建佩戴口罩的人脸图像数据库的效率。
Description
技术领域
本申请属于图像处理技术领域,尤其涉及图像合成方法、装置、电子设备及存储介质。
背景技术
随着人工智能技术的快速发展,人脸识别技术应用于越来越多的领域。人脸识别技术用于根据预先训练好的人脸识别模型,识别人脸图像对应的身份。若拍摄的图像是佩戴口罩的人脸图像,人脸识别率会大幅下降。因此,需要重新构建佩戴口罩的人脸图像数据库,以用于人脸识别模型的训练和人脸识别。现有技术一般是采用重新拍摄佩戴口罩的人脸图像的方法来构建佩戴口罩的人脸图像数据库,效率较低。
发明内容
有鉴于此,本申请实施例提供了图像合成方法、装置、电子设备及存储介质,可以提高构建佩戴口罩的人脸图像数据库的效率。
本申请实施例的第一方面提供了一种图像合成方法,包括:
获取人脸图像和第一口罩图像,所述第一口罩图像是口罩在未被佩戴状态下的图像;
根据所述人脸图像调整所述第一口罩图像,得到第二口罩图像,所述第二口罩图像是所述口罩在被佩戴状态下的图像;
合成所述人脸图像和所述第二口罩图像,得到佩戴口罩的人脸图像。
在一种可能的实现方式中,所述根据所述人脸图像调整所述第一口罩图像,得到第二口罩图像包括:
确定所述人脸图像上用于佩戴口罩的区域的特征点,得到第一特征点;
确定所述第一口罩图像上的特征点,得到第二特征点,所述第二特征点的数量与所述第一特征点的数量相同;
根据所述第一特征点和所述第二特征点对所述第一口罩图像进行调整,得到所述第二口罩图像,所述调整包括图像拉伸和/或图像收缩,所述第二口罩图像包括与所述第二特征点对应的第三特征点,所述第三特征点围成的区域形状与所述第一特征点围成的区域形状相同,且所述第三特征点的位置分布与所述第一特征点的位置分布相同。
在一种可能的实现方式中,在所述根据所述第一特征点和所述第二特征点对所述第一口罩图像进行调整之前,所述图像合成方法还包括:
确定所述人脸图像中人脸的偏转角度;
根据所述人脸的偏转角度确定所述口罩的偏转角度;
对应地,所述根据所述第一特征点和所述第二特征点对所述第一口罩图像进行调整,包括:
根据所述第一特征点、所述第二特征点以及所述口罩的偏转角度对所述第一口罩图像进行调整。
在一种可能的实现方式中,所述确定所述人脸图像的人脸偏转角度,包括:
根据预设算法确定所述人脸图像上的特征点,得到第四特征点;
根据所述第四特征点的分布特征确定所述人脸图像的人脸偏转角度。
在一种可能的实现方式中,在所述合成所述人脸图像和所述第二口罩图像之后,所述图像合成方法还包括:
计算所述人脸图像的亮度和/或饱和度;
根据所述人脸图像的亮度和/或饱和度,调整所述第二口罩图像的亮度和/或饱和度。
在一种可能的实现方式中,所述获取人脸图像,包括:
获取初始图片,对所述初始图片进行人脸侦测,得到所述人脸图像;
对应地,在所述合成所述人脸图像和所述第二口罩图像,得到佩戴口罩的人脸图像之后,所述图像合成方法还包括:
将所述初始图片中的人脸图像替换为所述佩戴口罩的人脸图像。
在一种可能的实现方式中,在所述合成所述人脸图像和所述第二口罩图像,得到佩戴口罩的人脸图像之后,所述图像合成方法还包括:
调整所述第二口罩图像的颜色和/或图案样式,得到第三口罩图像;
合成所述人脸图像和所述第三口罩图像,得到调整颜色和/或图案样式后佩戴口罩的人脸图像。
本申请实施例的第二方面提供了一种图像合成装置,包括:
获取模块,用于获取人脸图像和第一口罩图像,所述第一口罩图像是口罩在未被佩戴状态下的图像;
调整模块,用于根据所述人脸图像调整所述第一口罩图像,得到第二口罩图像,所述第二口罩图像是所述口罩在被佩戴状态下的图像;
合成模块,用于合成所述人脸图像和所述第二口罩图像,得到佩戴口罩的人脸图像。
在一种可能的实现方式中,所述调整模块具体用于:
确定所述人脸图像上用于佩戴口罩的区域的特征点,得到第一特征点;
确定所述第一口罩图像上的特征点,得到第二特征点,所述第二特征点的数量与所述第一特征点的数量相同;
根据所述第一特征点和所述第二特征点对所述第一口罩图像进行调整,得到所述第二口罩图像,所述调整包括图像拉伸和/或图像收缩,所述第二口罩图像包括与所述第二特征点对应的第三特征点,所述第三特征点围成的区域形状与所述第一特征点围成的区域形状相同,且所述第三特征点的位置分布与所述第一特征点的位置分布相同。
在一种可能的实现方式中,所述调整模块具体用于:
确定所述人脸图像中人脸的偏转角度;
根据所述人脸的偏转角度确定所述口罩的偏转角度;
根据所述第一特征点、所述第二特征点以及所述口罩的偏转角度对所述第一口罩图像进行调整。
在一种可能的实现方式中,所述调整模块具体用于:
根据预设算法确定所述人脸图像上的特征点,得到第四特征点;
根据所述第四特征点的分布特征确定所述人脸图像的人脸偏转角度。
在一种可能的实现方式中,所述图像合成装置还包括:
计算模块,用于计算所述人脸图像的亮度和/或饱和度;
根据所述人脸图像的亮度和/或饱和度,调整所述第二口罩图像的亮度和/或饱和度。
在一种可能的实现方式中,所述获取模块具体用于:
获取初始图片,对所述初始图片进行人脸侦测,得到所述人脸图像;
对应地,所述合成模块还用于:
将所述初始图片中的人脸图像替换为所述佩戴口罩的人脸图像。
在一种可能的实现方式中,所述调整模块还用于:
调整所述第二口罩图像的颜色和/或图案样式,得到第三口罩图像;
合成所述人脸图像和所述第三口罩图像,得到调整颜色和/或图案样式后佩戴口罩的人脸图像。
本申请实施例的第三方面提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的图像合成方法。
本申请实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的图像合成方法。
本申请实施例的第五方面提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行如上述第一方面所述的图像合成方法。
本申请实施例与现有技术相比存在的有益效果是:获取人脸图像和第一口罩图像,第一口罩图像是口罩在未被佩戴状态下的图像,根据人脸图像调整第一口罩图像,得到第二口罩图像,第二口罩图像是口罩在被佩戴状态下的图像,合成人脸图像和第二口罩图像,得到佩戴口罩的人脸图像。即本申请通过调整口罩图像,使得口罩图像与人脸图像适配,再将调整后的口罩图像与人脸图像合成,得到佩戴口罩的人脸图像。因此,不用重新进行拍摄,对现有的人脸图像数据库中的人脸图像进行合成即可得到佩戴口罩的人脸图像,进而得到佩戴口罩的人脸图像数据库,提高了构建佩戴口罩的人脸图像数据库的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的图像合成方法的实现流程示意图;
图2是本申请实施例提供的第一特征点的示意图;
图3是本申请实施例提供的第二特征点的示意图;
图4是本申请实施例提供的投影变化的示意图;
图5是本申请一实施例提供的图像合成示意图;
图6是本申请另一实施例提供的图像合成示意图;
图7是本申请实施例提供的多张人脸图像的图像合成示意图;
图8是本申请实施例提供的图像合成装置的示意图;
图9是本申请实施例提供的电子设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
另外,在本申请的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
现有的用于识别人脸图像的人脸图像数据库中存储的是人脸图像,若拍摄的图像是佩戴口罩的人脸图像,人脸识别率会大幅下降。为了提高人脸识别率,需要重新构建佩戴口罩的人脸图像数据库,若重新拍摄佩戴口罩的人脸图像,效率较低。
为此,本申请提供了一种图像合成方法,可以提高构建佩戴口罩的人脸图像数据库的效率。
下面对本申请提供的图像合成方法进行示例性描述。
请参阅附图1,本申请一实施例提供的图像合成方法包括:
S101:获取人脸图像和第一口罩图像,所述第一口罩图像是口罩在未被佩戴状态下的图像。
其中,人脸图像是对初始图片进行人脸侦测所得到的,初始图片是对摄像机、手机、监控设备等拍照设备拍摄的图片进行平滑、滤波、降噪等预处理后得到的。第一口罩图像可以是对口罩进行拍摄所得到的图像,也可以是通过画图软件绘制出的口罩图像。第一口罩图像可以是任意款式的口罩图像,例如防尘口罩、普通医用口罩、N95口罩等,第一口罩图像可以是口罩在平铺状态下的图像。
S102:根据所述人脸图像调整所述第一口罩图像,得到第二口罩图像,所述第二口罩图像是所述口罩在被佩戴状态下的图像。
具体地,根据人脸图像,将第一口罩图像调整为与人脸图像上用于佩戴口罩的区域相适配的第二口罩图像。
在一种可能的实现方式中,首先确定人脸图像上用于佩戴口罩的区域的特征点,得到第一特征点。例如,如图2所示,在人脸图像上,识别出眼睛、鼻子、嘴巴、下巴的位置,连接两只眼睛的中点得到参考线,沿鼻子下侧确定出与上述的参考线平行的直线,将该直线与脸部边缘的交点作为第一特征点a和第一特征点b。再沿嘴巴下侧确定出与参考线平行的直线,将该直线与脸部边缘的交点作为第一特征点c和第一特征点d。再将鼻子的中点和下巴的中点分别作为第一特征点e和第一特征点f,得到6个第一特征点,6个第一特征点均位于人脸上用于佩戴口罩的区域。由于6个第一特征点均位于人脸上用于佩戴口罩区域的边缘位置,通过6个第一特征点调整第一口罩图像,可以防止调整后的第一口罩图像与人脸上用于佩戴口罩的区域不匹配的情况,提高了得到的第二口罩图像的准确度。
第一口罩图像上包括与第一特征点对应的特征点,即第二特征点,第二特征点的数量与第一特征点的数量相同。在确定第一特征点和第二特征点后,根据第一特征点和第二特征点对第一口罩图像进行调整,得到第二口罩图像,调整包括图像拉伸和/或图像收缩。若第一口罩图像是口罩在平铺状态下的图像,或者第一口罩图像中口罩的形态与口罩在佩戴状态的形态的差异较大,调整还包括对第一口罩图像进行扭曲变形的处理。第二口罩图像包括与第二特征点对应的第三特征点,第三特征点围成的区域形状与第一特征点围成的区域形状相同,且第三特征点的位置分布与第一特征点的位置分布相同。
具体地,以各个第一特征点所在的位置为基准,对第一口罩图像进行调整,使得第二特征点移动至第一特征点所在的位置,同时根据第二特征点的移动方向以及人脸的轮廓调整口罩的弯曲形态,使得调整后的第一口罩图像可以覆盖于人脸上用于佩戴口罩的区域。移动后的第二特征点即为第三特征点,调整后的第一口罩图像即为第二口罩图像。通过确定人脸图像上第一特征点和第一口罩图像上第二特征点,根据第一特征点和第二特征点调整第一口罩图像的方式,可以使得调整得到的第二口罩图像与人脸的贴合程度更高,使得第二口罩图像与真实佩戴的口罩图片的相似度更高。
在一种可能的实现方式中,第二特征点的位置分布是根据预设形状设定的,即第二特征点围成的区域形成预设形状。具体地,对于同一款口罩,记录不同人脸佩戴时,口罩分别与第一特征点a、第一特征点b、第一特征点c、第一特征点d、第一特征点e和第一特征点f重合的位置,根据预先建立的坐标系确定每个重合位置的坐标,统计口罩上与每个第一特征点对应的重合位置的坐标的平均值,将该平均值作为对应的第二特征点。例如,如图3所示,在口罩处于平铺状态下,即口罩处于未被佩戴状态下,口罩上与第一特征点a对应的坐标的平均值为第二特征点1所在的坐标,与第一特征点b对应的坐标的平均值为第二特征点2所在的坐标,与第一特征点c对应的坐标的平均值为第二特征点3所在的坐标,与第一特征点d对应的坐标的平均值为第二特征点4所在的坐标,与第一特征点e对应的坐标的平均值为第二特征点5所在的坐标,与第一特征点f对应的坐标的平均值为第二特征点6所在的坐标。因此,第二特征点围成的区域与口罩被佩戴时与人脸接触的区域接近,在第二特征点的基础上对第一口罩图像进行调整时,可以避免将第一口罩图像进行大幅度的扭曲变形,防止第一口罩图像失真,提高了得到的第二口罩图像的准确度。
在一种可能的实现方式中,在确定第一特征点和第二特征点后,确定人脸图像中人脸的偏转角度。人脸的偏转角度包括人脸在上下方向以及左右方向的偏转角度,若人脸图像中的人脸是正脸,则人脸的偏转角度是0。在确定人脸的偏转角度后,根据人脸的偏转角度确定口罩的偏转角度,根据第一特征点、第二特征点以及口罩的偏转角度对第一口罩图像进行调整,得到第二口罩图像。具体地,将第二特征点移动至第一特征点所在的位置后,根据确定出的口罩的偏转角度确定口罩的投影方向,根据口罩的投影方向对口罩进行投影变化,得到第二口罩图像。例如,如图4所示,若人脸图像中的人脸处于仰视状态,在将第二特征点移动至第一特征点所在的位置,并调整口罩的弯曲形态后,将调整后的口罩沿上下方向进行投影变化,得到第二口罩图像。
其中,可以根据人脸图像中左侧人脸所占的比例以及右侧人脸所占的比例确定人脸的偏转角度,也可以根据预设算法确定人脸图像上的特征点,得到第四特征点,再根据第四特征点的分布特征确定人脸的偏转角度。第四特征点是位于人脸上的特征点,第四特征点按照预设排列规则分别分布于人脸的眉毛、眼睛、鼻子、嘴巴、脸部边缘等位置,每个特征点对应人脸上的一个位置,根据每个特征点之间的距离关系与参考距离关系的差异,即可确定出人脸的偏转角度,参考距离关系是指人脸为正脸时各特征点之间的距离关系。
在一种可能的实现方式中,第四特征点的数量为68个,将人脸图像输入预设的算法模型,预设的算法模型采用预设算法确定出68个特征点所在的位置,根据68个特征点中,各特征点之间的距离关系确定人脸的偏转角度。通过68个特征点确定人脸的偏转角度,提高了确定出的偏转角度的准确度。
在另一种可能的实现方式中,根据人脸图像中人脸的偏转角度可以将人脸分为正脸、左侧脸、右侧脸三种情形,对应地,第一口罩图像分为用于佩戴于正脸的口罩图像、用于佩戴于左侧脸的口罩图像以及用于佩戴于右侧脸的口罩图像。在获取人脸图像后,先确定人脸图像中人脸的偏转角度。若根据人脸的偏转角度确定人脸为正脸,将用于佩戴于正脸的口罩图像作为第一口罩图像,根据人脸图像上的第一特征点以及第一口罩上的第二特征点对第一口罩图像进行调整,得到第二口罩图像。若根据人脸的偏转角度确定人脸为左侧脸,将用于佩戴于左侧脸的口罩图像作为第一口罩图像,根据人脸图像上的第一特征点以及第一口罩上的第二特征点对第一口罩图像进行调整,得到第二口罩图像。若根据人脸的偏转角度确定人脸为右侧脸,将用于佩戴于左侧脸的口罩图像作为第一口罩图像,根据人脸图像上的第一特征点以及第一口罩上的第二特征点对第一口罩图像进行调整,得到第二口罩图像,从而使得第二口罩图像的偏转角度与人脸图像中人脸的偏转角度一致,提高了用于合成图像的第二口罩图像的准确度。
S103:合成所述人脸图像和所述第二口罩图像,得到佩戴口罩的人脸图像。
具体地,如图5所示,根据人脸图像上用于佩戴口罩的区域,合成人脸图像和第二口罩图像,得到佩戴口罩的人脸图像。
如图6所示,若第一口罩图像包括多个款式的口罩图像,对于同一个人脸图像,对应可以得到多个第二口罩图像,进而得到佩戴不同款式口罩的人脸图像,以增加人脸图像数据库中的数据。
在一种可能的实现方式中,在得到第二口罩图像后,计算人脸图像的亮度,人脸图像的亮度可以为人脸图像的平均亮度或者人脸图像的亮度分布情况,根据人脸图像的亮度调整第二口罩图像的亮度,使得调整后的第二口罩图像的亮度与人脸图像的亮度一致,从而使得第二口罩图像与人脸图像的适配度更高,提高了合成的佩戴口罩的人脸图像的准确度。
在一种可能的实现方式中,在得到第二口罩图像后,计算人脸图像的饱和度,人脸图像的饱和度可以为人脸图像的平均饱和度或者人脸图像的饱和度分布情况,根据人脸图像的饱和度调整第二口罩图像的饱和度,使得调整后的第二口罩图像的饱和度与人脸图像的饱和度一致,从而使得第二口罩图像与人脸图像的适配度更高,提高了合成的佩戴口罩的人脸图像的准确度。
在一种可能的实现方式中,在得到佩戴口罩的人脸图像之后,可以调整第二口罩图像的颜色和/或图案样式,图案样式是指分布于口罩上的图案的形状以及图案的颜色,从而可以得到不同样式的第三口罩图像,合成人脸图像和不同样式的第三口罩图像,可以得到佩戴不同样式口罩的人脸图像。
上述实施例中,获取人脸图像和第一口罩图像,第一口罩图像是口罩在未被佩戴状态下的图像,根据人脸图像调整第一口罩图像,得到第二口罩图像,第二口罩图像是口罩在被佩戴状态下的图像,合成人脸图像和第二口罩图像,得到佩戴口罩的人脸图像。即本申请通过调整口罩图像,使得口罩图像与人脸图像适配,再将调整后的口罩图像与人脸图像合成,得到佩戴口罩的人脸图像。因此,不用重新进行拍摄,对现有的人脸图像数据库中的人脸图像进行合成即可得到佩戴口罩的人脸图像,进而得到佩戴口罩的人脸图像数据库,提高了构建佩戴口罩的人脸图像数据库的效率。
在一种可能的实现方式中,用于提取人脸图像的初始图片存储于人脸图像数据库中,在对初始图片进行人脸侦测,提取出人脸图像后,根据人脸图像上的第一特征点以及第一口罩上的第二特征点对第一口罩图像进行调整,得到第二口罩图像,合成人脸图像和第二口罩图像,得到佩戴口罩的人脸图像后,将初始图片中的人脸图像替换为佩戴口罩的人脸图像。在完成当前的初始图片的替换后,检测人脸图像数据库中是否存在未被替换人脸图像的初始图片,若存在,则采用上述方法完成人脸图像的替换,直到完成所有初始图片中的人脸图像的替换,从而可以在原有人脸图像数据库的基础上对初始图片进行更新,得到更新后的人脸图像数据库。
在一种可能的实现方式中,如图7所示,人脸图像是从包括多张人脸的初始图片中提取的,对于每张人脸图像,在得到佩戴口罩的人脸图像后,将初始图片中对应的人脸图像替换为佩戴口罩的人脸图像。在替换完成后,通过人脸检测判断初始图片中是否存在未替换的人脸图像,若存在,则采用上述方法完成人脸图像的替换,直到初始图片中的所有人脸图像均完成替换,最后输出经过人脸替换的初始图片,即得到对包括多张人脸的图片进行人脸替换后的图片。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的图像合成方法,图8示出了本申请实施例提供的图像合成装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
如图8所示,图像合成装置包括,
获取模块10,用于获取人脸图像和第一口罩图像,所述第一口罩图像是口罩在未被佩戴状态下的图像;
调整模块20,用于根据所述人脸图像调整所述第一口罩图像,得到第二口罩图像,所述第二口罩图像是所述口罩在被佩戴状态下的图像;
合成模块30,用于合成所述人脸图像和所述第二口罩图像,得到佩戴口罩的人脸图像。
在一种可能的实现方式中,所述调整模块20具体用于:
确定所述人脸图像上用于佩戴口罩的区域的特征点,得到第一特征点;
确定所述第一口罩图像上的特征点,得到第二特征点,所述第二特征点的数量与所述第一特征点的数量相同;
根据所述第一特征点和所述第二特征点对所述第一口罩图像进行调整,得到所述第二口罩图像,所述调整包括图像拉伸和/或图像收缩,所述第二口罩图像包括与所述第二特征点对应的第三特征点,所述第三特征点围成的区域形状与所述第一特征点围成的区域形状相同,且所述第三特征点的位置分布与所述第一特征点的位置分布相同。
在一种可能的实现方式中,所述调整模块20具体用于:
确定所述人脸图像中人脸的偏转角度;
根据所述人脸的偏转角度确定所述口罩的偏转角度;
根据所述第一特征点、所述第二特征点以及所述口罩的偏转角度对所述第一口罩图像进行调整。
在一种可能的实现方式中,所述调整模块20具体用于:
根据预设算法确定所述人脸图像上的特征点,得到第四特征点;
根据所述第四特征点的分布特征确定所述人脸图像的人脸偏转角度。
在一种可能的实现方式中,所述图像合成装置还包括:
计算模块,用于计算所述人脸图像的亮度和/或饱和度;
根据所述人脸图像的亮度和/或饱和度,调整所述第二口罩图像的亮度和/或饱和度。
在一种可能的实现方式中,所述获取模块10具体用于:
获取初始图片,对所述初始图片进行人脸侦测,得到所述人脸图像;
对应地,所述合成模块30还用于:
将所述初始图片中的人脸图像替换为所述佩戴口罩的人脸图像。
在一种可能的实现方式中,所述调整模块20还用于:
调整所述第二口罩图像的颜色和/或图案样式,得到第三口罩图像;
合成所述人脸图像和所述第三口罩图像,得到调整颜色和/或图案样式后佩戴口罩的人脸图像。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
图9是本申请实施例提供的电子设备的示意图。如图9所示,该实施例的电子设备包括:处理器11、存储器12以及存储在所述存储器12中并可在所述处理器11上运行的计算机程序13。所述处理器11执行所述计算机程序13时实现上述图像合成方法实施例中的步骤,例如图1所示的步骤S101至S103。或者,所述处理器11执行所述计算机程序13时实现上述各装置实施例中各模块/单元的功能,例如图8所示获取模块10至合成模块30的功能。
示例性的,所述计算机程序13可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器12中,并由所述处理器11执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序13在所述电子设备中的执行过程。
所述电子设备可以是桌上型计算机、笔记本、掌上电脑等计算设备。本领域技术人员可以理解,图9仅仅是电子设备的示例,并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器11可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器12可以是所述电子设备的内部存储单元,例如电子设备的硬盘或内存。所述存储器12也可以是所述电子设备的外部存储设备,例如所述电子设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器12还可以既包括所述电子设备的内部存储单元也包括外部存储设备。所述存储器12用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器12还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
在本申请所提供的实施例中,应该理解到,所揭露的装置/电子设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/电子设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种图像合成方法,其特征在于,包括:
获取人脸图像和第一口罩图像,所述第一口罩图像是口罩在未被佩戴状态下的图像;
根据所述人脸图像调整所述第一口罩图像,得到第二口罩图像,所述第二口罩图像是所述口罩在被佩戴状态下的图像;
合成所述人脸图像和所述第二口罩图像,得到佩戴口罩的人脸图像。
2.根据权利要求1所述的图像合成方法,其特征在于,所述根据所述人脸图像调整所述第一口罩图像,得到第二口罩图像包括:
确定所述人脸图像上用于佩戴口罩的区域的特征点,得到第一特征点;
确定所述第一口罩图像上的特征点,得到第二特征点,所述第二特征点的数量与所述第一特征点的数量相同;
根据所述第一特征点和所述第二特征点对所述第一口罩图像进行调整,得到所述第二口罩图像,所述调整包括图像拉伸和/或图像收缩,所述第二口罩图像包括与所述第二特征点对应的第三特征点,所述第三特征点围成的区域形状与所述第一特征点围成的区域形状相同,且所述第三特征点的位置分布与所述第一特征点的位置分布相同。
3.根据权利要求2所述的图像合成方法,其特征在于,在所述根据所述第一特征点和所述第二特征点对所述第一口罩图像进行调整之前,所述图像合成方法还包括:
确定所述人脸图像中人脸的偏转角度;
根据所述人脸的偏转角度确定所述口罩的偏转角度;
对应地,所述根据所述第一特征点和所述第二特征点对所述第一口罩图像进行调整,包括:
根据所述第一特征点、所述第二特征点以及所述口罩的偏转角度对所述第一口罩图像进行调整。
4.根据权利要求3所述的图像合成方法,其特征在于,所述确定所述人脸图像的人脸偏转角度,包括:
根据预设算法确定所述人脸图像上的特征点,得到第四特征点;
根据所述第四特征点的分布特征确定所述人脸图像的人脸偏转角度。
5.根据权利要求1所述的图像合成方法,其特征在于,在所述合成所述人脸图像和所述第二口罩图像之后,所述图像合成方法还包括:
计算所述人脸图像的亮度和/或饱和度;
根据所述人脸图像的亮度和/或饱和度,调整所述第二口罩图像的亮度和/或饱和度。
6.根据权利要求1所述的图像合成方法,其特征在于,所述获取人脸图像,包括:
获取初始图片,对所述初始图片进行人脸侦测,得到所述人脸图像;
对应地,在所述合成所述人脸图像和所述第二口罩图像,得到佩戴口罩的人脸图像之后,所述图像合成方法还包括:
将所述初始图片中的人脸图像替换为所述佩戴口罩的人脸图像。
7.根据权利要求1所述的图像合成方法,其特征在于,在所述合成所述人脸图像和所述第二口罩图像,得到佩戴口罩的人脸图像之后,所述图像合成方法还包括:
调整所述第二口罩图像的颜色和/或图案样式,得到第三口罩图像;
合成所述人脸图像和所述第三口罩图像,得到调整颜色和/或图案样式后佩戴口罩的人脸图像。
8.一种图像合成装置,其特征在于,包括:
获取模块,用于获取人脸图像和第一口罩图像,所述第一口罩图像是口罩在未被佩戴状态下的图像;
调整模块,用于根据所述人脸图像调整所述第一口罩图像,得到第二口罩图像,所述第二口罩图像是所述口罩在被佩戴状态下的图像;
合成模块,用于合成所述人脸图像和所述第二口罩图像,得到佩戴口罩的人脸图像。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的图像合成方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像合成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110013274.4A CN114724204A (zh) | 2021-01-06 | 2021-01-06 | 图像合成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110013274.4A CN114724204A (zh) | 2021-01-06 | 2021-01-06 | 图像合成方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114724204A true CN114724204A (zh) | 2022-07-08 |
Family
ID=82234654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110013274.4A Pending CN114724204A (zh) | 2021-01-06 | 2021-01-06 | 图像合成方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114724204A (zh) |
-
2021
- 2021-01-06 CN CN202110013274.4A patent/CN114724204A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200410775A1 (en) | Systems and methods for determining the scale of human anatomy from images | |
CN109952594B (zh) | 图像处理方法、装置、终端及存储介质 | |
CN107507216B (zh) | 图像中局部区域的替换方法、装置及存储介质 | |
US9031286B2 (en) | Object detection device and object detection method | |
KR102367909B1 (ko) | 얼굴 이미지 처리 방법 및 장치, 이미징 기기 및 저장 매체 | |
CN112470497B (zh) | 经由光学捕获的个性化hrtfs | |
JP4692526B2 (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
CN109829396B (zh) | 人脸识别运动模糊处理方法、装置、设备及存储介质 | |
EP3621038A2 (en) | Methods and devices for replacing expression, and computer readable storage media | |
CN110619303A (zh) | 注视点追踪方法、装置、终端及计算机可读存储介质 | |
CN111461814B (zh) | 虚拟眼镜的试戴方法、终端设备及存储介质 | |
CN111540021B (zh) | 毛发数据的处理方法、装置和电子设备 | |
CN112214773B (zh) | 基于隐私保护的图像处理方法、装置和电子设备 | |
JP2011090702A (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
CN113392699A (zh) | 用于人脸遮挡检测的多标签深度卷积神经网络方法、装置和电子设备 | |
CN110728242A (zh) | 基于人像识别的图像匹配方法、装置、存储介质及应用 | |
CN109242760A (zh) | 人脸图像的处理方法、装置和电子设备 | |
CN113033244A (zh) | 一种人脸识别方法、装置及设备 | |
CN110032941B (zh) | 人脸图像检测方法、人脸图像检测装置及终端设备 | |
CN108573192A (zh) | 匹配人脸的眼镜试戴方法和装置 | |
Zhang et al. | Capture my head: a convenient and accessible approach combining 3D shape reconstruction and size measurement from 2D images for headwear design | |
CN114724204A (zh) | 图像合成方法、装置、电子设备及存储介质 | |
CN112150352A (zh) | 图像处理方法、装置及电子设备 | |
CN113343906A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
KR102580427B1 (ko) | 가상 피팅 서비스를 제공하는 방법 및 이를 위한 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |