CN111476066A - 图像效果的处理方法、装置、计算机设备及存储介质 - Google Patents
图像效果的处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111476066A CN111476066A CN201910065118.5A CN201910065118A CN111476066A CN 111476066 A CN111476066 A CN 111476066A CN 201910065118 A CN201910065118 A CN 201910065118A CN 111476066 A CN111476066 A CN 111476066A
- Authority
- CN
- China
- Prior art keywords
- image
- effect
- information
- processing
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 229
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000012545 processing Methods 0.000 claims abstract description 97
- 230000009466 transformation Effects 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims description 16
- 238000003062 neural network model Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 abstract description 18
- 230000000875 corresponding effect Effects 0.000 description 27
- 230000008859 change Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 210000001061 forehead Anatomy 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 231100000241 scar Toxicity 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例公开了一种图像效果的处理方法、装置、计算机设备及存储介质，包括下述步骤：获取目标人脸的原始图像；根据所述原始图像和预设的图像处理规则生成效果图层，其中，所述图像处理规则为根据原始图像中的关键点信息生成对应的变换信息，并根据所述变换信息对预设的标准图像进行处理得到效果图层的数据处理规则；将所述效果图层与所述原始图像进行图像融合以生成效果图像。通过原始图像中的关键点信息生成的变换信息对标准图像进行处理得到效果图层，再将效果图层与原始图像进行融合的方法，当原始图像中的人脸发生变化时，效果图层也会随之进行调整，从而有效地提高了效果图像的真实感。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像效果的处理方法、装置、计算机设备及存储介质。
背景技术
现有技术中一种人脸图像添加效果方法是是将效果图像(例如动画或特效)简单地添加到脸部图片之上。虽然该方法也可以生成效果图像，但是效果在人脸位置上的可控性低，需要不断的手动调节，增加了用户使用的复杂程度。所以该种发型设计方法并没有真正应用于市场或被网民广泛使用，而只是作为在线娱乐。另一种方法是将真实的照片通过预处理之后作为效果图层，用户选择之后将照片的一部分内容(例如发型)添加到人脸图像中，覆盖人脸图像中对应的原有因素(例如发型)，以形成效果图像，由于每个人的头部特征都具有或多或少的区别，这种方法普遍存在着脸部与效果拟合不协调、可操作性差、单一性等缺点，真实感较弱，无法满足客户的要求，实际应用存在着相当大的局限。
发明内容
本发明实施例能够提供一种准确且快速地为图像中的人脸添加效果的图像效果的处理方法、装置、计算机设备及存储介质。
为解决上述技术问题，本发明创造的实施例采用的一个技术方案是：提供一种图像效果的处理方法，包括以下步骤：
获取目标人脸的原始图像；
根据所述原始图像和预设的图像处理规则生成效果图层，其中，所述图像处理规则为根据原始图像中的关键点信息生成对应的变换信息，并根据所述变换信息对预设的标准图像进行处理得到效果图层的数据处理规则；
将所述效果图层与所述原始图像进行图像融合以生成效果图像。
可选地，所述根据所述原始图像和预设的图像处理规则生成效果图层的步骤，包括以下步骤：
获取标准图像；
根据预设的变换信息对所述标准图像进行处理得到第一变换图像，其中，所述变换信息为根据所述原始图片与所述标准图片中对应的一个或多个关键点位置所生成的函数关系参数；
根据预设的颜色调整参数对所述第一变换图像进行颜色调整以生成所述效果图层。
可选地，所述根据预设的变换信息对所述标准图像进行处理得到第一变换图像的步骤之前，包括以下步骤：
获取所述原始图像中的人脸关键点信息，其中，所述人脸关键点信息为原始图像中所述目标人脸的一个或多个部位的位置信息；
根据所述人脸关键点信息和预设的标准关键点信息生成所述变换信息，其中，所述标准关键点信息为所述标准图像中一个或多个人脸部位的位置信息。
可选地，所述获取所述原始图像中的人脸关键点信息的步骤之前，包括以下步骤：
将所述原始图像输入到预设的关键点提取模型中，其中，所述关键点提取模型为已训练至收敛的，用于根据输入的图像信息，输出其中人脸指定部位信息的神经网络模型；
根据所述关键点提取模型的输出结果确定所述人脸关键点信息。
可选地，所述根据预设的颜色调整参数对所述第一变换图像进行颜色调整以生成所述效果图层的步骤之前，包括下述步骤：
获取所述原始图像的肤色信息；
根据所述肤色信息计算得到所述原始图像的肤色均值；
根据所述肤色均值计算得到所述颜色调整参数。
可选地，所述将所述效果图层与所述原始图像进行图像融合以生成效果图像的步骤，包括下述步骤：
获取所述效果图层的定位信息；
根据所述定位信息与所述原始图像确定所述效果图层的位置坐标；
根据效果图层的位置坐标将所述效果图层与所述原始图像进行融合以生成所述效果图像。
可选地，所述将所述效果图层与所述原始图像进行图像融合以生成效果图像的步骤之后，包括下述步骤：
在预设的特效库中查找与所述标准图像具有映射关系的特效作为目标特效；
为所述效果图像添加所述目标特效。
为解决上述技术问题，本发明实施例还提供一种图像效果的处理装置，包括：
获取模块，用于获取目标人脸的原始图像；
处理模块，用于根据所述原始图像和预设的图像处理规则生成效果图层，其中，所述图像处理规则为根据原始图像中的关键点信息生成对应的变换信息，并根据所述变换信息对预设的标准图像进行处理得到效果图层的数据处理规则；
执行模块，用于将所述效果图层与所述原始图像进行图像融合以生成效果图像。
可选地，所述图像效果的处理装置，还包括：
第一获取子模块，用于获取标准图像；
第一处理子模块，用于根据预设的变换信息对所述标准图像进行处理得到第一变换图像，其中，所述变换信息为根据所述原始图片与所述标准图片中对应的一个或多个关键点位置所生成的函数关系参数；
第二处理子模块，用于根据预设的颜色调整参数对所述第一变换图像进行颜色调整以生成所述效果图层。
可选地，所述图像效果的处理装置，还包括：
第二获取子模块，用于获取所述原始图像中的人脸关键点信息，其中，所述人脸关键点信息为原始图像中所述目标人脸的一个或多个部位的位置信息；
第三处理子模块，用于根据所述人脸关键点信息和预设的标准关键点信息生成所述变换信息，其中，所述标准关键点信息为所述标准图像中一个或多个人脸部位的位置信息。
可选地，所述图像效果的处理装置，还包括：
第一输入子模块，用于将所述原始图像输入到预设的关键点提取模型中，其中，所述关键点提取模型为已训练至收敛的，用于根据输入的图像信息，输出其中人脸指定部位信息的神经网络模型；
第一执行子模块，用于根据所述关键点提取模型的输出结果确定所述人脸关键点信息。
可选地，所述图像效果的处理装置，还包括：
第三获取子模块，用于获取所述原始图像的肤色信息；
第一计算子模块，用于根据所述肤色信息计算得到所述原始图像的肤色均值；
第二计算子模块，用于根据所述肤色均值计算得到所述颜色调整参数。
可选地，所述图像效果的处理装置，还包括：
第四获取子模块，用于获取所述效果图层的定位信息；
第四处理子模块，用于根据所述定位信息与所述原始图像确定所述效果图层的位置坐标；
第一融合子模块，用于根据效果图层的位置坐标将所述效果图层与所述原始图像进行融合以生成所述效果图像。
可选地，所述图像效果的处理装置，还包括：
第一查找子模块，用于在预设的特效库中查找与所述标准图像具有映射关系的特效作为目标特效；
第五处理子模块，用于为所述效果图像添加所述目标特效。
为解决上述技术问题，本发明实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述图像效果的处理方法的步骤。
为解决上述技术问题，本发明实施例还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述图像效果的处理方法的步骤。
本发明实施例的有益效果是：通过原始图像中的关键点信息确定变换信息，根据变换信息对标准图像进行处理从而生成对应的效果图层，当原始图像中的人脸特征发生变化时，效果图层也会随之改变，最后将计算得到的效果图层与原始图像相融合，生成对应的效果图像。通过这种方法，可以有效地根据目标人脸对效果图层进行适应性调整，以提高效果图像的真实感，同时，通过这种方法可以减少效果添加过程中的操作，去除了人为操作调整的繁琐过程，快速且准确地为图像添加效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例图像效果的处理方法的基本流程示意图；
图2为本发明实施例生成效果图层的流程示意图；
图3为本发明实施例确定变换信息的流程示意图；
图4为本发明实施例确定关键点信息的流程示意图；
图5为本发明实施例计算颜色调整参数的流程示意图；
图6为本发明实施例融合得到效果图像的流程示意图；
图7为本发明实施例添加美颜效果的流程示意图；
图8为本发明实施例图像效果的处理装置的基本结构框图；
图9为本发明实施例计算机设备基本结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(PersonalCommunicationsService，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(PersonalDigitalAssistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(GlobalPositioningSystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(MobileInternetDevice，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
具体地请参阅图1，图1为本实施例图像效果的处理方法的基本流程示意图。
如图1所示，一种图像效果的处理方法，包括以下步骤：
S1100、获取目标人脸的原始图像；
原始图像的获取方法可以是通过图像采集设备(例如摄像机或手机摄像头)实时采集到的图像作为待处理图像，或者通过智能终端的应用程序将终端中存储的图像上传至服务器中，作为待处理图像，定义待处理图像中所存在的人脸为目标人脸，并将待处理图像作为原始图像以备处理。
在一些实施方式中，在获取到待处理图像之后对图像进行判断，确认待处理图像中是否存在人脸轮廓或者符合处理标准的人脸，判断的方法可以将获取到的待处理图像输入到预设的人脸判断模型中，通过人脸判断模型的输出结果确定待处理图像中是否存在人脸，其中，人脸判断模型为已训练至收敛的，用于判断输入的图像中是否存在人脸的神经网络模型。当判断待处理图像中存在人脸时，定义待处理图像为原始图像，当判断待处理图像中不存在人脸时，向终端发送反馈信息，重新获取另一张图像作为待处理图像，直至判断待处理图像中存在人脸。
S1200、根据所述原始图像和预设的图像处理规则生成效果图层，其中，所述图像处理规则为根据原始图像中的关键点信息生成对应的变换信息，并根据所述变换信息对预设的标准图像进行处理得到效果图层的数据处理规则；
在获取到原始图像之后，对原始图像进行识别，提取原始图像中的关键点信息，关键点信息为图像人脸的一个或多个目标部位的位置坐标，例如左眼中心点、右眼中心点、发际线中心点和发际线边缘点等等。在得到原始图像的关键点信息之后，获取本次需要添加的效果的标准图像，标准图像可以是预设的一张图像，也可以是用户从图像库中选择的一张图像，标准图像用于作为本次为原始图像添加的效果，例如发型效果或者伤痕效果等，但不限于此。以发型中的光头为例，标准图像为一个通用人脸的光头图像，其中已经预先标注了图像中关键点的位置坐标，原始图像中提取的关键点与标准图像中的关键点一一对应，在获取到两组关键点的位置坐标之后，根据原始图像中每一个点所的位置计算标准图像中对应的坐标点的变化值，在得到所有的点的变化值之后，根据变化值计算得到变换信息，用于对标准图像进行调整，例如拉伸或变形，以使标准图像中的效果部分符合原始图像中的人脸特征。
在得到变换信息之后，根据变换信息对标准图像进行调整，使标准图像与目标图像中的人脸相匹配，将调整后的标准图像作为效果图层。
S1300、将所述效果图层与所述原始图像进行图像融合以生成效果图像；
在获取到效果图层之后，根据效果图层中的关键点位置与原始图像中人脸关键点的位置进行匹配，以确定效果图层在原始图层中的位置，确定了效果图层的位置之后，将效果图层与原始图层进行图像融合，利用效果图层覆盖原始图层中的对应部分内容，生成效果图像。
如图2所示，步骤S1200具体包括以下步骤：
S1210、获取标准图像；
标准图像可以是系统中预设的一个或多个图像，用于作为为原始图片添加的效果，每个标准图像都对应一种效果，例如光头、披肩长发、脸部伤痕或者斑点等，但不限于此。用户在确定了原始图像之后，可以在图像库中选择一个图像作为标准图像。
S1220、根据预设的变换信息对所述标准图像进行处理得到第一变换图像，其中，所述变换信息为根据所述原始图片与所述标准图片中对应的一个或多个关键点位置所生成的函数关系参数；
对原始图像进行识别，提取原始图像中的关键点信息，关键点信息为图像人脸的一个或多个目标部位的位置坐标，例如左眼中心点、右眼中心点、发际线中心点和发际线边缘点等等。标准图像中已经预先标注了图像中关键点的位置坐标，原始图像中提取的关键点与标准图像中的关键点一一对应，在获取到两组关键点的位置坐标之后，根据原始图像中每一个点所的位置计算标准图像中对应的坐标点的变化值，在得到所有的点的变化值之后，根据变化值计算得到对应关键点之间的函数关系作为变换信息，用于对标准图像进行调整，例如拉伸或变形，以使标准图像中的效果部分符合原始图像中的人脸特征。得到变换信息之后，根据变换信息对标准图像进行调整，使标准图像与目标图像中的人脸相匹配，将调整后的标准图像作为第一变换图像。
S1230、根据预设的颜色调整参数对所述第一变换图像进行颜色调整以生成所述效果图层；
在获取到原始图像之后，提取原始图像中的肤色信息，肤色信息包括了图像人脸中指定的一个或多个部位的肤色值，例如额头中央、发际线边缘和鼻梁部分的肤色值，肤色值可以使用RGB或者HSV等常用的颜色模型进行定义，在此不作限定。在获取到原始图像的肤色信息后，根据肤色信息中的多个肤色值求均值，作为原始图像的肤色均值。肤色均值可以是多个肤色值的平均数值，也可以是多个肤色值进行加权平均后所得到的数值。当肤色均值是多个肤色值的加权平均数值时，系统中预设有多个部位的权重值，例如发际线边缘的肤色权重为50％、额头中央的肤色权重为35％和鼻梁部分的肤色权重为15％等，但不限于此，根据各个部位的肤色权重和肤色值进行加权平均，定义得到的结果为肤色均值。
计算得到原始图像的肤色均值之后，获取标准图像的肤色均值，并根据两个肤色均值计算颜色变换参数，颜色变换参数包括颜色的变化值和透明度变化值等，但不限于此，用于对第一变换图像进行调整以使第一变换图像与原始图像的颜色相匹配。在获取到颜色变换参数之后，根据颜色变换参数对第一变换图像进行颜色调整，定义调整后的图像为效果图层。
根据变换信息和颜色变换参数对标准图像进行调整，从形状与颜色两个方面提高调整后的效果图层与原始图像匹配程度，节省了图像变换过程中繁琐的操作步骤。
如图3所示，步骤S1220之前还包括以下步骤：
S1214、获取所述原始图像中的人脸关键点信息，其中，所述人脸关键点信息为原始图像中所述目标人脸的一个或多个部位的位置信息；
对原始图像进行识别，提取原始图像中的关键点信息，关键点信息为图像人脸的一个或多个目标部位的位置坐标，例如左眼中心点、右眼中心点、发际线中心点和发际线边缘点等等。
S1215、根据所述人脸关键点信息和预设的标准关键点信息生成所述变换信息，其中，所述标准关键点信息为所述标准图像中一个或多个人脸部位的位置信息；
标准图像中已经预先标注了图像中关键点的位置坐标，原始图像中提取的关键点与标准图像中的关键点一一对应，在获取到两组关键点的位置坐标之后，根据原始图像中每一个点所的位置计算标准图像中对应的坐标点的变化值，在得到所有的点的变化值之后，根据变化值计算得到对应关键点之间的函数关系作为变换信息。
通过关键点信息计算得到变换信息的方法，可以快速并有效地确定标准图像的变换信息，当目标人脸发生改变时，变换信息也会随之变化，通过变换信息对标准图像进行调整，以使得到的效果图层可以符合不同人脸的特征，提高效果图层与原始图像的匹配度。
如图4所示，步骤S1214之前还包括以下步骤：
S1211、将所述原始图像输入到预设的关键点提取模型中，其中，所述关键点提取模型为已训练至收敛的，用于根据输入的图像信息，输出其中人脸指定部位信息的神经网络模型；
对神经网络模型进行训练时，采用若干个训练样本集(例如10万个)，其中，每个训练样本集包括一个人脸图像的至少一组部位信息，部位信息可以是指定的一个或多个部位在人脸中的位置坐标，位置坐标的确定可以先确定一个原点，例如鼻梁处或额头正中心等，指定的一个或多个目标部位与原点的相对位置作为该部位的位置坐标。本实施例使用的神经网络模型可以为CNN卷积神经网络模型或者VGG卷积神经网络模型。神经网络模型根据输入的图像信息，对图像中的指定部位进行识别标记，并确定该图像中的原点，输出指定部位对应的部位信息。
S1212、根据所述关键点提取模型的输出结果确定所述人脸关键点信息；
获取关键点提取模型的输出结果，定义输出结果中每个指定部位与对应的坐标为一组关键点数据，确定所有关键点数据的集合为图像的人脸关键点信息。
通过神经网络模型对图像中的关键点进行识别并输出对应的坐标，可以快速并准确地确定图像中的关键点信息，为图像的变换信息等内容计算提供一个可靠的参考参数。
如图5所示，步骤S1230之前还还包括下述步骤：
S1221、获取所述原始图像的肤色信息；
在获取到原始图像之后，提取原始图像中的肤色信息，肤色信息包括了图像人脸中指定的一个或多个部位的肤色值，例如额头中央、发际线边缘和鼻梁部分的肤色值，肤色值可以使用RGB或者HSV等常用的颜色模型进行定义，在此不作限定。
S1222、根据所述肤色信息计算得到所述原始图像的肤色均值；
在获取到原始图像的肤色信息后，根据肤色信息中的多个肤色值求均值，作为原始图像的肤色均值。肤色均值可以是多个肤色值的平均数值，也可以是多个肤色值进行加权平均后所得到的数值。当肤色均值是多个肤色值的加权平均数值时，系统中预设有多个部位的权重值，例如发际线边缘的肤色权重为50％、额头中央的肤色权重为35％和鼻梁部分的肤色权重为15％等，但不限于此，根据各个部位的肤色权重和肤色值进行加权平均，定义得到的结果为肤色均值。
S1223、根据所述肤色均值计算得到所述颜色调整参数；
计算得到原始图像的肤色均值之后，获取标准图像的肤色均值，并根据两个肤色均值计算颜色变换参数，颜色变换参数包括颜色的变化值和透明度变化值等，但不限于此，用于对第一变换图像进行调整以使第一变换图像与原始图像的颜色相匹配。
通过肤色信息计算得到颜色变换参数的方法，由于人与人之间的存在着肤色差异，当目标人脸发生改变时，颜色变换参数也会随之变化，通过颜色变换参数对标准图像进行调整，以使得到的效果图层可以符合不同人脸的肤色，提高效果图层与原始图像的匹配度。
如图6所示，步骤S1300具体包括下述步骤：
S1310、获取所述效果图层的定位信息；
在得到效果图层之后，获取效果图层的定位信息，定位信息为效果图层用于定位的一个或多个目标点位的坐标，例如,光头效果当通过两点定位时，可以选择效果图层中的两个目标点位的坐标作为定位信息，如额头正中心位置和发际线中心位置。
S1320、根据所述定位信息与所述原始图像确定所述效果图层的位置坐标；
在确定效果图层的定位信息之后，根据效果图层定位信息中的目标点位，在原始图像中所定对应的点位作为辅助点位，根据效果图层的定位信息和原始图像中的辅助点位，确定效果图层的位置坐标，在一些实施方式中，位置坐标中包括了平移坐标和旋转坐标，用于确定效果图层在原始图像中的位置。
S1330、根据效果图层的位置坐标将所述效果图层与所述原始图像进行融合以生成所述效果图像；
根据效果图层的位置坐标确定效果图层与原始图像的相对位置，将效果图层和原始图像进行图像融合，利用效果图层覆盖原始图像中的内容，生成效果图像。
通过利用定位信息确定效果图层的位置坐标，可以准确地确定效果图层在原始图像中的融合位置，使效果图层与原始图像更好地进行叠加，避免了人工调整位置的繁琐操作和误差。
如图7所示，步骤S1300之后还包括下述步骤：
S1410、在预设的特效库中查找与所述标准图像具有映射关系的特效作为目标特效；
每个标准图像对应设置有一种或多种特效，用于对图像附加效果，例如美颜或者虚化等，但不限于此。在得到效果图像之后，根据效果图像中添加的效果图层所对应的标准图像，在特效库中查找与标准图像具有映射关系的特效，作为目标特效。目标特效与标准图像所需要达到的效果相关，例如，当标准图像对应的效果为光头时，目标特效可是以光头效果边缘的美化效果，当标准图像对应的效果为脸部伤痕时，目标特效可以是脸部的磨皮效果。
S1420、为所述效果图像添加所述目标特效；
在确定了目标特效之后，为效果图像添加目标特效，定义添加了目标特效后的图像为成品图像，将成品图像在用户端进行展示。
为效果图像添加对应的特效，可以减轻效果图层与原始图像融合时边线的过渡不自然等问题，通过添加特效使最终得到的图像更加自然和真实。
为解决上述技术问题，本发明实施例还提供一种图像效果的处理装置。具体请参阅图8，图8为本实施图像效果的处理装置的基本结构框图。
如图8所示，图像效果的处理装置，包括：获取模块2100、处理模块2200和执行模块2300。其中，获取模块用于获取目标人脸的原始图像；处理模块用于根据所述原始图像和预设的图像处理规则生成效果图层，其中，所述图像处理规则为根据原始图像中的关键点信息生成对应的变换信息，并根据所述变换信息对预设的标准图像进行处理得到效果图层的数据处理规则；执行模块用于将所述效果图层与所述原始图像进行图像融合以生成效果图像。
通过原始图像中的关键点信息确定变换信息，根据变换信息对标准图像进行处理从而生成对应的效果图层，当原始图像中的人脸特征发生变化时，效果图层也会随之改变，最后将计算得到的效果图层与原始图像相融合，生成对应的效果图像。通过这种方法，可以有效地根据目标人脸对效果图层进行适应性调整，以提高效果图像的真实感，同时，通过这种方法可以减少效果添加过程中的操作，去除了人为操作调整的繁琐过程，快速且准确地为图像添加效果。
在一些实施方式中，图像效果的处理装置还包括：第一获取子模块、第一处理子模块、第二处理子模块。其中第一获取子模块用于获取标准图像；第一处理子模块用于根据预设的变换信息对所述标准图像进行处理得到第一变换图像，其中，所述变换信息为根据所述原始图片与所述标准图片中对应的一个或多个关键点位置所生成的函数关系参数；第二处理子模块用于根据预设的颜色调整参数对所述第一变换图像进行颜色调整以生成所述效果图层。
在一些实施方式中，图像效果的处理装置还包括：第二获取子模块、第三处理子模块。其中，第二获取子模块用于获取所述原始图像中的人脸关键点信息，其中，所述人脸关键点信息为原始图像中所述目标人脸的一个或多个部位的位置信息；第三处理子模块用于根据所述人脸关键点信息和预设的标准关键点信息生成所述变换信息，其中，所述标准关键点信息为所述标准图像中一个或多个人脸部位的位置信息。
在一些实施方式中，图像效果的处理装置还包括：第一输入子模块、第一执行子模块。其中，第一输入子模块用于将所述原始图像输入到预设的关键点提取模型中，其中，所述关键点提取模型为已训练至收敛的，用于根据输入的图像信息，输出其中人脸指定部位信息的神经网络模型；第一执行子模块用于根据所述关键点提取模型的输出结果确定所述人脸关键点信息。
在一些实施方式中，图像效果的处理装置还包括：第三获取子模块、第一计算子模块、第二计算子模块。其中，第三获取子模块用于获取所述原始图像的肤色信息；第一计算子模块用于根据所述肤色信息计算得到所述原始图像的肤色均值；第二计算子模块用于根据所述肤色均值计算得到所述颜色调整参数。
在一些实施方式中，图像效果的处理装置还包括：第四获取子模块、第四处理子模块、第一融合子模块。其中，第四获取子模块用于获取所述效果图层的定位信息；第四处理子模块用于根据所述定位信息与所述原始图像确定所述效果图层的位置坐标；第一融合子模块用于根据效果图层的位置坐标将所述效果图层与所述原始图像进行融合以生成所述效果图像。
在一些实施方式中，图像效果的处理装置还包括：第一查找子模块、第五处理子模块。其中，第一查找子模块用于在预设的特效库中查找与所述标准图像具有映射关系的特效作为目标特效；第五处理子模块用于为所述效果图像添加所述目标特效。
为解决上述技术问题，本发明实施例还提供一种计算机设备。具体请参阅图9，图9为本实施例计算机设备基本结构框图。
如图9所示，计算机设备的内部结构示意图。如图9所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种图像效果的处理方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种图像效果的处理方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图8中获取模块2100、处理模块2200和执行模块2300的具体功能，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有图像效果的处理装置中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述图像效果的处理方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)等非易失性存储介质，或随机存储记忆体(RandomAccessMemory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像效果的处理方法，其特征在于，包括以下步骤：
获取目标人脸的原始图像；
根据所述原始图像和预设的图像处理规则生成效果图层，其中，所述图像处理规则为根据原始图像中的关键点信息生成对应的变换信息，并根据所述变换信息对预设的标准图像进行处理得到效果图层的数据处理规则；
将所述效果图层与所述原始图像进行图像融合以生成效果图像。
2.如权利要求1所述的图像效果的处理方法，其特征在于，所述根据所述原始图像和预设的图像处理规则生成效果图层的步骤，包括以下步骤：
获取标准图像；
根据预设的变换信息对所述标准图像进行处理得到第一变换图像，其中，所述变换信息为根据所述原始图片与所述标准图片中对应的一个或多个关键点位置所生成的函数关系参数；
根据预设的颜色调整参数对所述第一变换图像进行颜色调整以生成所述效果图层。
3.如权利要求2所述的图像效果的处理方法，其特征在于，所述根据预设的变换信息对所述标准图像进行处理得到第一变换图像的步骤之前，包括以下步骤：
获取所述原始图像中的人脸关键点信息，其中，所述人脸关键点信息为原始图像中所述目标人脸的一个或多个部位的位置信息；
根据所述人脸关键点信息和预设的标准关键点信息生成所述变换信息，其中，所述标准关键点信息为所述标准图像中一个或多个人脸部位的位置信息。
4.如权利要求3所述的图像效果的处理方法，其特征在于，所述获取所述原始图像中的人脸关键点信息的步骤之前，包括以下步骤：
将所述原始图像输入到预设的关键点提取模型中，其中，所述关键点提取模型为已训练至收敛的，用于根据输入的图像信息，输出其中人脸指定部位信息的神经网络模型；
根据所述关键点提取模型的输出结果确定所述人脸关键点信息。
5.如权利要求2所述的图像效果的处理方法，其特征在于，所述根据预设的颜色调整参数对所述第一变换图像进行颜色调整以生成所述效果图层的步骤之前，包括下述步骤：
获取所述原始图像的肤色信息；
根据所述肤色信息计算得到所述原始图像的肤色均值；
根据所述肤色均值计算得到所述颜色调整参数。
6.如权利要求3所述的图像效果的处理方法，其特征在于，所述将所述效果图层与所述原始图像进行图像融合以生成效果图像的步骤，包括下述步骤：
获取所述效果图层的定位信息；
根据所述定位信息与所述原始图像确定所述效果图层的位置坐标；
根据效果图层的位置坐标将所述效果图层与所述原始图像进行融合以生成所述效果图像。
7.如权利要求1-6任一项所述的图像效果的处理方法，其特征在于，所述将所述效果图层与所述原始图像进行图像融合以生成效果图像的步骤之后，包括下述步骤：
在预设的特效库中查找与所述标准图像具有映射关系的特效作为目标特效；
为所述效果图像添加所述目标特效。
8.一种图像效果的处理装置，其特征在于，包括：
获取模块，用于获取目标人脸的原始图像；
处理模块，用于根据所述原始图像和预设的图像处理规则生成效果图层，其中，所述图像处理规则为根据原始图像中的关键点信息生成对应的变换信息，并根据所述变换信息对预设的标准图像进行处理得到效果图层的数据处理规则；
执行模块，用于将所述效果图层与所述原始图像进行图像融合以生成效果图像。
9.一种计算机设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述权利要求1-7任意一项所述的图像效果的处理方法。
10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种图像效果的处理方法，所述方法包括上述权利要求1-7任意一项所述的图像效果的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910065118.5A CN111476066A (zh) | 2019-01-23 | 2019-01-23 | 图像效果的处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910065118.5A CN111476066A (zh) | 2019-01-23 | 2019-01-23 | 图像效果的处理方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111476066A true CN111476066A (zh) | 2020-07-31 |
Family
ID=71743427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910065118.5A Pending CN111476066A (zh) | 2019-01-23 | 2019-01-23 | 图像效果的处理方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111476066A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077378A (zh) * | 2021-03-31 | 2021-07-06 | 重庆长安汽车股份有限公司 | 一种基于车载摄像头的图像处理及目标识别方法 |
| WO2022179362A1 (zh) * | 2021-02-24 | 2022-09-01 | 嘉楠明芯(北京)科技有限公司 | 一种图像融合方法以及装置 |
-
2019
- 2019-01-23 CN CN201910065118.5A patent/CN111476066A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022179362A1 (zh) * | 2021-02-24 | 2022-09-01 | 嘉楠明芯(北京)科技有限公司 | 一种图像融合方法以及装置 |
| CN113077378A (zh) * | 2021-03-31 | 2021-07-06 | 重庆长安汽车股份有限公司 | 一种基于车载摄像头的图像处理及目标识别方法 |
| CN113077378B (zh) * | 2021-03-31 | 2024-02-09 | 重庆长安汽车股份有限公司 | 一种基于车载摄像头的图像处理及目标识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111127378A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| KR20210057133A (ko) | 이미지 처리 방법 및 장치, 프로세서, 전자 기기 및 저장 매체 | |
| US20230237841A1 (en) | Occlusion Detection | |
| CN111553267B (zh) | 图像处理方法、图像处理模型训练方法及设备 | |
| CN110503703A (zh) | 用于生成图像的方法和装置 | |
| CN112400186B (zh) | 图像生成 | |
| Liu et al. | Psgan++: Robust detail-preserving makeup transfer and removal | |
| CN111108508B (zh) | 脸部情感识别方法、智能装置和计算机可读存储介质 | |
| CN116580257A (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
| CN110555896A (zh) | 一种图像生成方法、装置以及存储介质 | |
| CN111476066A (zh) | 图像效果的处理方法、装置、计算机设备及存储介质 | |
| CN111553838A (zh) | 模型参数的更新方法、装置、设备及存储介质 | |
| KR20230085931A (ko) | 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템 | |
| KR20230110787A (ko) | 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들 | |
| CN112016548B (zh) | 一种封面图展示方法及相关装置 | |
| CN114267065A (zh) | 人脸关键点修正方法及其装置、设备、介质 | |
| CN114049290A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN115967823A (zh) | 视频封面生成方法、装置、电子设备及可读介质 | |
| CN110414593B (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
| CN117132690A (zh) | 一种图像生成方法及相关装置 | |
| CN116703797A (zh) | 图像融合方法、图像融合系统、计算机设备及存储介质 | |
| CN111383289A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN115564931A (zh) | 着装图像生成方法及其装置、设备、介质、产品 | |
| CN115601479A (zh) | 虚拟人头的生成方法及装置 | |
| CN116823869A (zh) | 背景替换的方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |