CN111597963B - 用于图像中人脸的补光方法、系统、介质以及电子设备 - Google Patents

用于图像中人脸的补光方法、系统、介质以及电子设备 Download PDF

Info

Publication number
CN111597963B
CN111597963B CN202010403252.4A CN202010403252A CN111597963B CN 111597963 B CN111597963 B CN 111597963B CN 202010403252 A CN202010403252 A CN 202010403252A CN 111597963 B CN111597963 B CN 111597963B
Authority
CN
China
Prior art keywords
light
face
light supplementing
key points
dense key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010403252.4A
Other languages
English (en)
Other versions
CN111597963A (zh
Inventor
谢富名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN202010403252.4A priority Critical patent/CN111597963B/zh
Publication of CN111597963A publication Critical patent/CN111597963A/zh
Application granted granted Critical
Publication of CN111597963B publication Critical patent/CN111597963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种用于图像中人脸的补光方法、系统、介质以及电子设备，所述补光方法包括：识别所述图像中的人脸；获取所述人脸的三维稠密关键点；利用所述三维稠密关键点检测所述人脸的平均亮度；根据所述平均亮度确定补光强度；根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度；利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图；将所述补光光影图与所述人脸进行融合，以实现对所述人脸补光。本发明技术方案避免了使用复杂的抠像算法，不存在过分割或欠分割问题，并且本发明中的补光方式不需要改变人脸背景亮度，不存在背景过曝风险，补光效果优异，提高了用户体验。

Description

用于图像中人脸的补光方法、系统、介质以及电子设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种用于图像中人脸的补光方法、系统、介质以及电子设备。
背景技术
随着便携移动设备(例如：智能手机)的普及，随时随处的人脸摄像让自拍、秀图成为一种生活时尚。虽然不少智能手机集成了多种人脸美化功能，例如：人脸美颜、背景虚化等，但受限于拍摄场景的布景、补光，智能手机的人脸拍照难以实现摄影级补光拍照效果，比如脸部立体高光、添加阴影、或增加脸部层次感等效果。
为了提高图像的补光效果，现有技术中一方面可以采用修图软件对整个图像进行均匀补光，将图像中的人脸、身体以及背景按照同样的补光尺度进行调亮或者调暗，补光效果较差。另一方面，现有技术中还可以采用抠像算法将目标人脸与背景分离开来，然后对目标人脸进行处理后再把目标人脸与背景进行融合，不但算法复杂度高，而且普遍存在抠像过分割和欠分割的问题，导致再次融合之后的图像并不自然，补光效果较差，修图痕迹明显，影响了用户体验。
发明内容
本发明要解决的技术问题是为了克服现有技术中通过对包含人脸的图像进行整体补光，或者将目标人像从图像中分离出来进行补光再与原图像进行融合，导致补光效果较差，影响用户体验的缺陷，提供一种用于图像中人脸的补光方法、系统、介质以及电子设备。
本发明是通过下述技术方案来解决上述技术问题：
一种用于图像中人脸的补光方法，所述补光方法包括：
识别所述图像中的人脸；
获取所述人脸的三维稠密关键点；
利用所述三维稠密关键点检测所述人脸的平均亮度；
根据所述平均亮度确定补光强度；
根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度；
利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图；
将所述补光光影图与所述人脸进行融合，以实现对所述人脸补光。
较佳地，所述获取所述人脸的三维稠密关键点的步骤之前还包括：
获取所述图像中的人脸的数量；
判断所述人脸的数量是否为1；
若数量为1，则计算成像时的真实人脸与摄像设备的距离；
判断所述距离是否不超过预设距离阈值；
若不超过所述预设距离阈值，则执行获取所述人脸的三维稠密关键点的步骤。
较佳地，所述利用所述三维稠密关键点检测所述人脸的平均亮度的步骤之前还包括：检测所述人脸的人脸姿态是否满足预设条件，所述人脸姿态包括所述人脸偏离预设水平面的角度、所述人脸偏离预设竖直面的角度、所述人脸在所述预设水平面内的旋转角度的一种或多种；
若所述人脸姿态满足预设条件，则执行利用所述三维稠密关键点检测所述人脸的平均亮度的步骤。
较佳地，所述根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度的步骤包括：
根据所述人脸姿态、所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度。
较佳地，所述根据所述平均亮度确定补光强度的步骤包括；
根据所述平均亮度以及平均亮度与补光强度的预设对应关系确定补光强度，不同的所述平均亮度分别对应不同的所述补光强度。
较佳地，所述利用所述三维稠密关键点检测所述人脸的平均亮度的步骤包括：
利用所述三维稠密关键点确定亮度采集区域，所述亮度采集区域位于所述人脸的眼睛和嘴巴之间；
利用所述亮度采集区域中的人脸的亮度计算所述平均亮度。
较佳地，所述利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图的步骤之前还包括；
对三维稠密关键点做空间三角形剖分得到三角形数组，每个所述三角形均包括三个所述三维稠密关键点；
调整构成每个三角形的三个所述三维稠密关键点的排列顺序，以使所有的三角形的法向量的指向一致；
分别查找构成每个三角形的三个所述三维稠密关键点中的Z轴坐标最小的稠密关键点；
利用所有三角形中的Z轴坐标最小的稠密关键点确定对所述三角形的渲染顺序，所述渲染顺序为按照Z轴坐标从小到大的顺序依次对所述三角形进行渲染。
较佳地，所述利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图的步骤包括：
利用所述三维稠密关键点计算每个所述三角形的法向量；
根据所述三角形的法向量计算所述三维稠密关键点的归一化法向量；
根据所述补光光源相对于所述人脸的位置以及所述三维稠密关键点的归一化法向量计算所述三维稠密关键点相对于光源的方向向量，并对所述方向向量进行归一化处理；
利用归一化处理的所述方向向量以及归一化处理的所述三维稠密关键点的法向量计算每个所述三维稠密关键点的补光强度；
利用所述三维稠密关键点的补光强度按照所述渲染顺序对构成每个所述三角形的三维稠密关键点进行渲染；
将渲染后的三角形投影至二维平面，以得到补光光影图。
一种用于图像中人脸的补光系统，所述补光系统包括：
人脸识别模块，用于识别所述图像中的人脸；
关键点获取模块，用于获取所述人脸的三维稠密关键点；
亮度检测模块，用于利用所述三维稠密关键点检测所述人脸的平均亮度；
补光强度确定模块，用于根据所述平均亮度确定补光强度；
光源位置确定模块，用于根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度；
光影图生成模块，用于利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图；
融合模块，用于将所述补光光影图与所述人脸进行融合，以实现对所述人脸补光。
较佳地，所述补光系统还包括
人脸数量获取模块，用于检测所述图像中的人脸的数量；
判断模块，用于判断所述人脸的数量是否为1；
若数量为1，则调用距离计算模块，所述距离计算模块用于计算成像时的真实人脸与摄像设备的距离；
所述判断模块还用于判断所述距离是否不超过预设距离阈值；
若不超过所述预设距离阈值，则调用所述关键点获取模块。
较佳地，所述补光系统还包括姿态检测模块，用于检测所述人脸的人脸姿态是否满足预设条件，所述人脸姿态包括所述人脸偏离预设水平面的角度、所述人脸偏离预设竖直面的角度、所述人脸在所述预设水平面内的旋转角度的一种或多种；
若所述人脸姿态满足预设条件，则调用所述亮度检测模块。
较佳地，所述光源位置确定模块用于根据所述人脸姿态、所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度。
较佳地，所述补光强度确定模块用于根据所述平均亮度以及平均亮度与补光强度的预设对应关系确定补光强度，不同的所述平均亮度分别对应不同的所述补光强度。
较佳地，所述亮度检测模块用于利用所述三维稠密关键点确定亮度采集区域，所述亮度采集区域位于所述人脸的眼睛和嘴巴之间；利用所述亮度采集区域中的人脸的亮度计算所述平均亮度。
较佳地，所述补光系统还包括：
三角形构建模块，用于对三维稠密关键点做空间三角形剖分得到三角形数组，每个所述三角形均包括三个所述三维稠密关键点；
法向量调整模块，用于调整构成每个三角形的三个所述三维稠密关键点的排列顺序，以使所有的三角形的法向量的指向一致；
查找模块，用于分别查找构成每个三角形的三个所述三维稠密关键点中的Z轴坐标最小的稠密关键点；
渲染顺序确定模块，用于利用所有三角形中的Z轴坐标最小的稠密关键点确定对所述三角形的渲染顺序，所述渲染顺序为按照Z轴坐标从小到大的顺序依次对所述三角形进行渲染。
较佳地，所述光影图生成模块用于利用所述三维稠密关键点计算每个所述三角形的法向量；根据所述三角形的法向量计算所述三维稠密关键点的归一化法向量；根据所述补光光源相对于所述人脸的位置以及所述三维稠密关键点的归一化法向量计算所述三维稠密关键点相对于光源的方向向量，并对所述方向向量进行归一化处理；利用归一化处理的所述方向向量以及归一化处理的所述三维稠密关键点的法向量计算每个所述三维稠密关键点的补光强度；利用所述三维稠密关键点的补光强度按照所述渲染顺序对构成每个所述三角形的三维稠密关键点进行渲染；将渲染后的三角形投影至二维平面，以得到补光光影图。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现前述的用于图像中人脸的补光方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述的用于图像中人脸的补光方法的步骤。
本发明的积极进步效果在于：本发明提供的用于图像中人脸的补光方法以及系统通过识别所述图像中的人脸；获取所述人脸的三维稠密关键点；利用所述三维稠密关键点检测所述人脸的平均亮度；根据所述平均亮度确定补光强度；根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度；利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图；将所述补光光影图与所述人脸进行融合，以实现对所述人脸补光。由此，通过三维人脸稠密关键点对图像中的人脸实现补光，避免了使用复杂的抠像算法，不存在过分割或欠分割问题，算法简洁有效，并且本发明中的补光方式不需要改变人脸背景亮度，不存在背景过曝风险，补光效果优异，提高了用户体验。
附图说明
图1为本发明实施例1的用于图像中人脸的补光方法的流程图。
图2为本发明实施例2的用于图像中人脸的补光方法的流程图。
图3为本发明实施例3的用于图像中人脸的补光方法的流程图。
图4为本发明实施例4的用于图像中人脸的补光系统的结构框图。
图5为本发明实施例5的用于图像中人脸的补光系统的结构框图。
图6为本发明实施例6的用于图像中人脸的补光系统的结构框图。
图7为本发明实施例7的电子设备的结构框图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供一种用于图像中人脸的补光方法，所述图像可以是包括背景和人像的静态图片或动态视频，本实施例对图像的具体形态不做限制。
所述补光是指对人脸添加高光、阴影、聚光照明等光效，以实现模拟摄影室人工打光的人脸摄影效果，提高人脸美感。
如图1所示，所述补光方法可以包括如下步骤：
步骤S10：识别所述图像中的人脸；
步骤S11：获取所述人脸的三维稠密关键点；
本实施例中，使用自动面部识别和三维人脸稠密关键点对齐技术，可实时对人脸位置准确定位，并拟合人脸姿态、表情和形状。
步骤S12：利用所述三维稠密关键点检测所述人脸的平均亮度；
优选地，可以利用所述三维稠密关键点确定亮度采集区域，所述亮度采集区域位于所述人脸的眼睛和嘴巴之间；然后，利用所述亮度采集区域中的人脸的亮度计算所述平均亮度。
其中，人脸平均亮度srcY的计算可以包括但不限于如下方式：定义左眼中心坐标Pel＝(Xel,Yel)，右眼中心坐标Per＝(Xer,Yer)，嘴巴中心坐标Pm＝(Xm,Ym)。
根据检测的关键点确定一小块人脸肤色区域：
Figure SMS_1
Figure SMS_2
Figure SMS_3
Figure SMS_4
faceSize＝MAX(eDist,meDist)
其中，中Pec，Pme，分别是两眼的中心和眼嘴的中心，eDist是两眼之间的距离，meDist是嘴巴中心和两眼的中点之间距离，faceSize是人脸尺寸，MAX()为取最大值函数。
肤色区域可以表示为：
Figure SMS_5
Figure SMS_6
Rskin是人脸的肤色区域，Xs,Ys分别为肤色区域的Rskin的中心坐标，Ws,Hs分别表示以中心坐标为基准的宽和高。统计Rskin区域内的Y通道亮度均值便是人脸的平均亮度srcY。Y通道是指通用的YUV(一种颜色编码方法)颜色空间中的通道之一。
接下来，执行步骤S13：根据所述平均亮度确定补光强度；
优选地，可以根据所述平均亮度以及平均亮度与补光强度的预设对应关系确定补光强度，不同的所述平均亮度分别对应不同的所述补光强度。
具体的，所述预设对应关系可以包括但不限于映射曲线、查找表等形式，本领域技术人员可以根据具体需求而适应性的设置对应关系。例如：可以将所述平均亮度输入预设的映射曲线，以得到所述补光强度；所述映射曲线Lightcurve()为所述平均亮度srcY与所述补光强度dstY之间的一一对应关系曲线，即dstY＝Lightcurve(srcY)。该预设映射曲线可以为非线性曲线。
通常情况下，当人脸的亮度越高，需要补充的补光强度相应越小。当人脸的亮度越低，需要补充的补光强度相应越大。
接下来，执行步骤S14：根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度；
其中，预设光效类型除了包括现有技术中较为常用的高光、阴影、聚光照明等光效外，还可以包括技术人员提前预设的个性化光照效果，不同的个性化光照效果对应不同的光源位置。
步骤S15：利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图；
步骤S16：将所述补光光影图与所述人脸进行融合，以实现对所述人脸补光。
本实施例提供的用于图像中人脸的补光方法通过三维人脸稠密关键点对图像中的人脸实现补光，避免了使用复杂的抠像算法，不存在过分割或欠分割问题，算法简洁有效，并且本发明中的补光方式不需要改变人脸背景亮度，不存在背景过曝风险，补光效果优异，提高了用户体验。另外，结合对补光光源位置的调整，可实现多种人脸补光方式，且整个人脸补光方式在YUV颜色空间进行，可大大降低算法复杂度。
实施例2
本实施例提供一种用于图像中人脸的补光方法，该补光方法是在实施例1基础上的进一步改进。
进一步地，参见图2，所述步骤S11之前还可以包括：
步骤S20：获取所述图像中的人脸的数量；
步骤S21：判断所述人脸的数量是否为1；
若数量为1，则执行步骤S22：计算成像时的真实人脸与摄像设备的距离；
步骤S23：判断所述距离是否不超过预设距离阈值；
若不超过所述预设距离阈值，则执行所述步骤S11。
本实施例中，考虑到多人脸场景较为复杂，可能出现人脸交叉遮挡情况，若检测出图像中的人脸个数为2个以上，则不对该图像中的人脸进行补光。同样的，若成像时的真实人脸与终端的摄像设备的距离大于预设距离阈值，则认为最终成像的人脸尺寸太小，也不为该人像进行补光。
进一步地，所述步骤S12之前还可以包括：
步骤S24：判断所述人脸的人脸姿态是否满足预设条件，所述人脸姿态包括所述人脸偏离预设水平面的角度、所述人脸偏离预设竖直面的角度、所述人脸在所述预设水平面内的旋转角度的一种或多种；
其中，预设水平面和预设竖直面是与摄像头正对的人脸正面所在的水平面和竖直面。
若所述人脸姿态满足预设条件，则执行所述步骤S12：利用所述三维稠密关键点检测所述人脸的平均亮度。
若所述人脸姿态不满足条件，则说明人脸向后偏转或者俯仰的角度太大，对人脸补光已经没有意义，在此种情况下，则放弃对人脸的补光。
进一步地，所述步骤S14可以包括：
步骤S141：根据所述人脸姿态、所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度。
具体地，补光光源相对于人脸正面的距离和角度可以确定在三维空间中设置补光光源的位置，即补光光源在三维空间中的三维位置坐标。
优选地，光源位置信息可以通过如下方式获得：
Lightsrc＝(Xls,Yla,Zls)
Lightdst＝(Xds,Yds,Zds)＝Lightsrc×Matr[3][3]
其中Lightsrc是根据光效类型而自动选定的起始补光光源位置，Matr[3][3]是通过人脸三维稠密关键点计算出来的人脸姿态旋转矩阵，Lightdst是计算出来的最终人脸补光位置，该位置随着人脸姿态发生变化，使得人脸补光效果稳定。
本实施例提供的用于图像中人脸的补光方法通过添加是否补光的判断条件，当人脸的个数、距离或者人脸姿态满足条件后，再对人脸进行补光，由此，可以进一步提高补光效果，提高了用户体验。
实施例3
本实施例提供一种图像中人脸的补光方法，该补光方法是在实施例1基础上的进一步改进。
进一步地，如图3所示，所述步骤S14之前还可以包括；
步骤S30：对三维稠密关键点做空间三角形剖分得到三角形数组，每个所述三角形均包括三个所述三维稠密关键点；
在构建三角形的过程中，多个三角形可以共用顶点(即关键点)，但每个三角形的平面不与其他任何三角形的平面交叉。
优选地，可以利用C程序(一种编程语言)来实现本算法中的步骤。
例如：稠密关键点可以程序化语句表示为Verts[cout][3]，对三维稠密关键点做空间三角形剖分，以得到三角形数组Triangles[num][3]。
其中cout是稠密关键点的个数，权衡补光效果与算法速度，cout∈[300,1200]，num是三维空间中三角的个数，cout和num均为正整数。
步骤S31：调整构成每个三角形的三个所述三维稠密关键点的排列顺序，以使所有的三角形的法向量的指向一致；
所述排列顺序可以包括顺时针顺序和逆时针顺序。
步骤S32：分别查找构成每个三角形的三个所述三维稠密关键点中的Z轴坐标最小的稠密关键点；
步骤S33：利用所有三角形中的Z轴坐标最小的稠密关键点确定对所述三角形的渲染顺序，所述渲染顺序为按照Z轴坐标从小到大的顺序依次对所述三角形进行渲染。
例如：在编写程序语句时，对三角形数组Triangles[num][3]按照第三列Triangles[][3]，即Z轴方向数值升序排序Sort(Triangles[][3])，避免由于人脸姿态转动出现自遮挡，即避免先渲染的三角形遮挡后续需要渲染的三角形而导致后期光效渲染异常，从而保证了渲染效果。
本实施例中，步骤S15具体可以包括：
步骤S151：利用所述三维稠密关键点计算每个所述三角形的法向量；
例如，该算法步骤的计算机程序实现语句为：
Figure SMS_7
其中Cross()是求两个向量的法向量，Normaltris[num][3]是各三角形法向量。
步骤S152：根据所述三角形的法向量计算所述三维稠密关键点的归一化法向量。
例如，该算法步骤的计算机程序实现语句为：
Figure SMS_8
其中，SQR()是求平方，SQRT()是开根号，Normalverts[cout][3]是三维稠密关键点的归一化法向量。
步骤S153：根据所述补光光源相对于所述人脸的位置以及所述三维稠密关键点的归一化法向量计算所述三维稠密关键点相对于光源的方向向量，并对所述方向向量进行归一化处理；
例如，该算法步骤的计算机程序实现语句为：
for(i＝1；i≤cout；i++){
Normalvd[i][]＝Normalvd[i][]-Lightdst
sum＝SQR(Normalvd[i][1])+SQR(Normalvd[i][2])
+SQR(Normalvd[i][3])
Normalvd[i][]＝Normalvd[i][]/SQRT(sum)}
其中，Normalvd[i][]是归一化处理后的所述三维稠密关键点相对于光源的方向向量。
步骤S154：利用归一化处理的所述方向向量以及归一化处理的所述三维稠密关键点的法向量计算每个所述三维稠密关键点的补光强度；
例如，该算法步骤的计算机程序实现语句为：
Lightverts[cout][3]＝Normalverts[cout][3]·Normalvd[cout][3]×255
Lightverts[cout][3]为三维稠密关键点的补光补光强度；Normalvd[cout][3]归一化处理后的所述三维稠密关键点相对于光源的方向向量，Normalverts[cout][3]是归一化处理后的所述三维稠密关键点的法向量。
步骤S155：利用所述三维稠密关键点的补光强度按照所述渲染顺序对构成每个所述三角形的三维稠密关键点进行渲染；
步骤S156：将渲染后的三角形投影至二维平面，以得到补光光影图。
例如，该算法步骤的计算机程序实现语句为：
radius＝MAX(faceSize/10,3)
Lightshade＝Blur(Lightshade,radius)
其中MAX()是求最大值函数，Blur()是对图像做半径radius的均值滤波,滤波处理可避免光效融合边界出现分层问题。
具体地，将所述补光光影图Lightshade与所述人脸在YUV(一种颜色编码方法)颜色空间中的Y通道进行融合。得到补光后的人脸光效图：
Lightup＝(dstY-srcY)/255
Lightw＝1+(Lightshade·Lightup)
ImagedstY＝MIN(ImagesrcY·Lightw,255)
其中，Lightup是亮度系数，Lightw是亮度权重，ImagesrcY是原Y通道人脸图像，ImagedstY是补光后的Y通道结果图像。
需要说明的是，虽然实施例3中的补光方法是在实施例1的基础上进行的进一步改进，但这只是一种可选的方式，并不是限制性的。本领域技术人员可以理解的是，实施例3中的补光方法还可以通过在实施例2的基础上进行改进得到。
本实施例提供的用于图像中人脸的补光方法通过设置三角形的渲染顺序，可以避免先渲染的三角形遮挡后续需要渲染的三角形，降低了后期光效渲染异常的可能性，从而进一步提高了渲染效果。
实施例4
本实施例提供一种用于图像中人脸的补光系统，所述图像可以是包括背景和人像的静态图片或动态视频，本实施例对图像的具体形态不做限制。
所述补光是指对人脸添加高光、阴影、聚光照明等光效，以实现模拟摄影室人工打光的人脸摄影效果，提高人脸美感。如图4所示，所述补光系统1可以包括：
人脸识别模块11，用于识别所述图像中的人脸；
关键点获取模块12，用于获取所述人脸的三维稠密关键点；
本实施例中，使用自动面部识别和三维人脸稠密关键点对齐技术，可实时对人脸位置准确定位，并拟合人脸姿态、表情和形状。
亮度检测模块13，用于利用所述三维稠密关键点检测所述人脸的平均亮度；
优选地，所述亮度检测模块13用于利用所述三维稠密关键点确定亮度采集区域，所述亮度采集区域位于所述人脸的眼睛和嘴巴之间；利用所述亮度采集区域中的人脸的亮度计算所述平均亮度。
其中，人脸平均亮度srcY的计算可以包括但不限于如下方式：定义左眼中心坐标Pel＝(Xel,Yel)，右眼中心坐标Per＝(Xer,Yer)，嘴巴中心坐标Pm＝(Xm,Ym)。
根据检测的关键点确定一小块人脸肤色区域：
Figure SMS_9
/>
Figure SMS_10
Figure SMS_11
Figure SMS_12
faceSize＝MAX(eDist,meDist)
其中，中Pec，Pme，分别是两眼的中心和眼嘴的中心，eDist是两眼之间的距离，meDist是嘴巴中心和两眼的中点之间距离，faceSize是人脸尺寸，MAX()为取最大值函数。
肤色区域可以表示为：
Figure SMS_13
Figure SMS_14
Rskin是人脸的肤色区域，Xs,Ys分别为肤色区域的Rskin的中心坐标，Ws,Hs分别表示以中心坐标为基准的宽和高。统计Rskin区域内的Y通道亮度均值便是人脸的平均亮度srcY。Y通道是指通用的YUV(一种颜色编码方法)颜色空间中的通道之一。
补光强度确定模块14，用于根据所述平均亮度确定补光强度；
优选地，所述补光强度确定模块14用于根据所述平均亮度以及平均亮度与补光强度的预设对应关系确定补光强度，不同的所述平均亮度分别对应不同的所述补光强度。
具体的，所述预设对应关系可以包括但不限于映射曲线、查找表等形式，本领域技术人员可以根据具体需求而适应性的设置对应关系。例如：可以将所述平均亮度输入预设的映射曲线，以得到所述补光强度；所述映射曲线Lightcurve()为所述平均亮度srcY与所述补光强度dstY之间的一一对应关系曲线，即dstY＝Lightcurve(srcY)。该预设映射曲线可以为非线性曲线。
通常情况下，当人脸的亮度越高，需要补充的补光强度相应越小。当人脸的亮度越低，需要补充的补光强度相应越大。
光源位置确定模块15，用于根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度；
其中，预设光效类型除了包括现有技术中较为常用的高光、阴影、聚光照明等光效外，还可以包括技术人员提前预设的个性化光照效果，不同的个性化光照效果对应不同的光源位置。
光影图生成模块16，用于利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图；
融合模块17，用于将所述补光光影图与所述人脸进行融合，以实现对所述人脸补光。
本实施例提供的用于图像中人脸的补光系统通过三维人脸稠密关键点对图像中的人脸实现补光，避免了使用复杂的抠像算法，不存在过分割或欠分割问题，算法简洁有效，并且本发明中的补光方式不需要改变人脸背景亮度，不存在背景过曝风险，补光效果优异，提高了用户体验。另外，结合对补光光源位置的调整，可实现多种人脸补光方式，且整个人脸补光方式在YUV颜色空间进行，可大大降低算法复杂度。
实施例5
本实施例提供一种用于图像中人脸的补光系统，该补光系统是在实施例4基础上的进一步改进。
进一步地，请参考图5，所述补光系统1还包括：
人脸数量获取模块21，用于获取所述图像中的人脸的数量；
判断模块22，用于判断所述人脸的数量是否为1；
若数量为1，则调用距离计算模块23，所述距离计算模块23用于计算成像时的真实人脸与摄像设备的距离；
所述判断模块22还用于判断所述距离是否不超过预设距离阈值；
若不超过所述预设距离阈值，则调用所述关键点获取模块12。
本实施例中，考虑到多人脸场景较为复杂，可能出现人脸交叉遮挡情况，若检测出图像中的人脸个数为2个以上，则不对该图像中的人脸进行补光。同样的，若成像时的真实人脸与终端的摄像设备的距离大于预设距离阈值，则认为最终成像的人脸尺寸太小，也不为该人像进行补光。
进一步地，所述补光系统1还包括姿态检测模块24，用于检测所述人脸的人脸姿态是否满足预设条件，所述人脸姿态包括所述人脸偏离预设水平面的角度、所述人脸偏离预设竖直面的角度、所述人脸在所述预设水平面内的旋转角度的一种或多种；其中，预设水平面和预设竖直面是与摄像头正对的人脸正面所在的水平面和竖直面。
若所述人脸姿态满足预设条件，则调用所述亮度检测模块13。
若所述人脸姿态不满足条件，则说明人脸向后偏转或者俯仰的角度太大，对人脸补光已经没有意义，在此种情况下，则放弃对人脸的补光。
进一步地，所述光源位置确定模块15用于根据所述人脸姿态、所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度。
具体地，补光光源相对于人脸正面的距离和角度可以确定在三维空间中设置补光光源的位置，即补光光源在三维空间中的三维位置坐标。
优选地，光源位置信息可以通过如下方式获得：
Lightsrc＝(Xls,Yls,Zls)
Lightdst＝(Xds,Yds,Zds)＝Lightsrc×Matr[3][3]
其中Lightsrc是根据光效类型而自动选定的起始补光光源位置，Matr[3][3]是通过人脸三维稠密关键点计算出来的人脸姿态旋转矩阵，Lightdst是计算出来的最终人脸补光位置，该位置随着人脸姿态发生变化，使得人脸补光效果稳定。
本实施例提供的用于图像中人脸的补光系统通过添加是否补光的判断条件，当人脸的个数、距离或者人脸姿态满足条件后，再对人脸进行补光，由此，可以进一步提高补光效果，提高了用户体验。
实施例6
本实施例提供一种图像中人脸的补光系统，该补光系统是在实施例4基础上的进一步改进。
如图6所示，所述补光系统1还可以包括：
三角形构建模块31，用于对三维稠密关键点做空间三角形剖分得到三角形数组，每个所述三角形均包括三个所述三维稠密关键点；
在构建三角形的过程中，多个三角形可以共用顶点(即关键点)，但每个三角形的平面不与其他任何三角形的平面交叉。
优选地，可以利用C程序(一种编程语言)来实现本算法中的步骤。
例如：稠密关键点可以程序化语句表示为Verts[cout][3]，对三维稠密关键点做空间三角形剖分，以得到三角形数组Triangles[num][3]。
其中cout是稠密关键点的个数，权衡补光效果与算法速度，cout∈[300,1200]，num是三维空间中三角的个数，cout和num均为正整数。
法向量调整模块32，用于调整构成每个三角形的三个所述三维稠密关键点的排列顺序，以使所有的三角形的法向量的指向一致；所述排列顺序可以包括顺时针顺序和逆时针顺序。
查找模块33，用于分别查找构成每个三角形的三个所述三维稠密关键点中的Z轴坐标最小的稠密关键点；
渲染顺序确定模块34，用于利用所有三角形中的Z轴坐标最小的稠密关键点确定对所述三角形的渲染顺序，所述渲染顺序为按照Z轴坐标从小到大的顺序依次对所述三角形进行渲染。
例如：在编写程序语句时，对三角形数组Triangles[num][3]按照第三列Triangles[][3]，即Z轴方向数值升序排序Sort(Triangles[][3])，避免由于人脸姿态转动出现自遮挡，即避免先渲染的三角形遮挡后续需要渲染的三角形而导致后期光效渲染异常，从而保证了渲染效果。
本实施例中，所述光影图生成模块16用于利用所述三维稠密关键点计算每个所述三角形的法向量。
例如，该光影图生成模块16中可以运行如下计算机程序语句：
Figure SMS_15
其中Cross()是求两个向量的法向量，Normaltris[num][3]是各三角形法向量。
所述光影图生成模块16还可以根据所述三角形的法向量计算所述三维稠密关键点的归一化法向量；
例如，该光影图生成模块16中还可以运行如下计算机程序语句：
Figure SMS_16
/>
Figure SMS_17
其中，SQR()是求平方，SQRT()是开根号，Normalverts[cout][3]是三维稠密关键点的归一化法向量。
所述光影图生成模块16还可以根据所述补光光源相对于所述人脸的位置以及所述三维稠密关键点的归一化法向量计算所述三维稠密关键点相对于光源的方向向量，并对所述方向向量进行归一化处理；
例如，该光影图生成模块16中还可以运行如下计算机程序语句：
for(i＝1；i≤cout；i++){
Normalvd[i][]＝Normalvd[i][]-Lightdst
sum＝SQR(Normalvd[i][1])+SQR(Normalvd[i][2])
+SQR(Normalvd[i][3])
Normalvd[i][]＝Normalvd[i]]]/SQRT(sum)}
其中，Normalvd[i][]是归一化处理后的所述三维稠密关键点相对于光源的方向向量。
所述光影图生成模块16还可以利用归一化处理的所述方向向量以及归一化处理的所述三维稠密关键点的法向量计算每个所述三维稠密关键点的补光强度；
例如，该光影图生成模块16中还可以运行如下计算机程序语句：
Lightverts[cout][3]＝Normalverts[cout][3]·Normalvd[cout][3]×255
Lightverts[cout][3]为三维稠密关键点的补光补光强度；Normalvd[cout][3]归一化处理后的所述三维稠密关键点相对于光源的方向向量，Normalverts[cout][3]是归一化处理后的所述三维稠密关键点的法向量。
所述光影图生成模块16还可以利用所述三维稠密关键点的补光强度按照所述渲染顺序对构成每个所述三角形的三维稠密关键点进行渲染；将渲染后的三角形投影至二维平面，以得到补光光影图。
例如，该光影图生成模块16中还可以运行如下计算机程序语句：
radius＝MAX(faceSize/10,3)
Lightshade＝Blur(Lightshade,radius)
其中MAX()是求最大值函数，Blur()是对图像做半径radius的均值滤波,滤波处理可避免光效融合边界出现分层问题。
进一步地，所述融合模块17将所述补光光影图Lightshade与所述人脸在YUV颜色空间(一种颜色编码方法)中的Y通道进行融合，得到补光后的人脸光效图；
例如，该融合模块17中还可以运行如下计算机程序语句：
Lightup＝(dstY-srcY)/255
Lightw＝1+(Lightshade·Lightup)
ImagedstY＝MIN(ImagesrcY·Lightw,255)
其中，Lightup是亮度系数，Lightw是亮度权重，ImagesrcY是原Y通道人脸图像，ImagedstY是补光后的Y通道结果图像。
需要说明的是，虽然实施例6中的补光系统是在实施例4基础上进行的进一步改进，但这只是一种可选的方式，并不是限制性的。本领域技术人员可以理解的是，实施例6中的补光方法还可以通过在实施例5的基础上进行改进得到。
本实施例提供的用于图像中人脸的补光系统通过设置三角形的渲染顺序，可以避免先渲染的三角形遮挡后续需要渲染的三角形，降低了后期光效渲染异常的可能性，从而进一步提高了渲染效果。
实施例7
本发明还提供一种电子设备，如图7所示，所述电子设备可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现前述实施例1-3中任一实施例所述的用于图像中人脸的补光方法的步骤。
可以理解的是，图7所示的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备2可以以通用计算设备的形式表现，例如：其可以为服务器设备。电子设备2的组件可以包括但不限于：上述至少一个处理器3、上述至少一个存储器4、连接不同系统组件(包括存储器4和处理器3)的总线5。
所述总线5可以包括数据总线、地址总线和控制总线。
所述存储器4可以包括易失性存储器，例如随机存取存储器(RAM)41和/或高速缓存存储器42，还可以进一步包括只读存储器(ROM)43。
所述存储器4还可以包括具有一组(至少一个)程序模块44的程序工具45(或实用工具)，这样的程序模块44包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
所述处理器3通过运行存储在所述存储器4中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明前述实施例1-3中任一实施例所述的用于图像中人脸的补光方法的步骤。
所述电子设备2也可以与一个或多个外部设备6(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口7进行。并且，模型生成的电子设备2还可以通过网络适配器8与一个或者多个网络(例如局域网LAN，广域网WAN和/或公共网络)通信。
如图7所示，网络适配器8可以通过总线5与模型生成的电子设备2的其它模块通信。本领域技术人员应当明白，尽管图中未示出，可以结合模型生成的电子设备2使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
需要说明的是，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例8
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现前述实施例1-3中任一实施例所述的用于图像中人脸的补光方法的步骤。
其中，计算机可读存储介质可以采用的更具体方式可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现前述实施例1-3中任一实施例所述的用于图像中人脸的补光方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (14)

1.一种用于图像中人脸的补光方法，其特征在于，所述补光方法包括：
识别所述图像中的人脸；
获取所述人脸的三维稠密关键点；
利用所述三维稠密关键点检测所述人脸的平均亮度；
根据所述平均亮度确定补光强度；其中，所述平均亮度和所述补光强度呈负相关；
根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度；
根据所述补光光源相对于所述人脸正面的距离和角度确定所述补光光源在三维空间中的位置；
利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图；
根据所述补光强度的亮度权重将所述补光光影图与所述人脸进行融合，以实现对所述人脸补光；
所述利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图的步骤之前还包括；
对三维稠密关键点做空间三角形剖分得到三角形数组，每个所述三角形均包括三个所述三维稠密关键点；
调整构成每个三角形的三个所述三维稠密关键点的排列顺序，以使所有的三角形的法向量的指向一致；
分别查找构成每个三角形的三个所述三维稠密关键点中的Z轴坐标最小的稠密关键点；
利用所有三角形中的Z轴坐标最小的稠密关键点确定对所述三角形的渲染顺序，所述渲染顺序为按照Z轴坐标从小到大的顺序依次对所述三角形进行渲染；
所述利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图的步骤包括：
利用所述三维稠密关键点计算每个所述三角形的法向量；
根据所述三角形的法向量计算所述三维稠密关键点的归一化法向量；
根据所述补光光源相对于所述人脸的位置以及所述三维稠密关键点的归一化法向量计算所述三维稠密关键点相对于光源的方向向量，并对所述方向向量进行归一化处理；
利用归一化处理的所述方向向量以及归一化处理的所述三维稠密关键点的法向量计算每个所述三维稠密关键点的补光强度；
利用所述三维稠密关键点的补光强度按照所述渲染顺序对构成每个所述三角形的三维稠密关键点进行渲染；
将渲染后的三角形投影至二维平面，以得到补光光影图。
2.如权利要求1所述的用于图像中人脸的补光方法，其特征在于，所述获取所述人脸的三维稠密关键点的步骤之前还包括：
获取所述图像中的人脸的数量；
判断所述人脸的数量是否为1；
若数量为1，则计算成像时的真实人脸与摄像设备的距离；
判断所述距离是否不超过预设距离阈值；
若不超过所述预设距离阈值，则执行获取所述人脸的三维稠密关键点的步骤。
3.如权利要求1所述的用于图像中人脸的补光方法，其特征在于，
所述利用所述三维稠密关键点检测所述人脸的平均亮度的步骤之前还包括：检测所述人脸的人脸姿态是否满足预设条件，所述人脸姿态包括所述人脸偏离预设水平面的角度、所述人脸偏离预设竖直面的角度、所述人脸在所述预设水平面内的旋转角度的一种或多种；
若所述人脸姿态满足预设条件，则执行利用所述三维稠密关键点检测所述人脸的平均亮度的步骤。
4.如权利要求3所述的用于图像中人脸的补光方法，其特征在于，
所述根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度的步骤包括：
根据所述人脸姿态、所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度。
5.如权利要求1所述的用于图像中人脸的补光方法，其特征在于，
所述根据所述平均亮度确定补光强度的步骤包括；
根据所述平均亮度以及平均亮度与补光强度的预设对应关系确定补光强度，不同的所述平均亮度分别对应不同的所述补光强度。
6.如权利要求1所述的用于图像中人脸的补光方法，其特征在于，
所述利用所述三维稠密关键点检测所述人脸的平均亮度的步骤包括：
利用所述三维稠密关键点确定亮度采集区域，所述亮度采集区域位于所述人脸的眼睛和嘴巴之间；
利用所述亮度采集区域中的人脸的亮度计算所述平均亮度。
7.一种用于图像中人脸的补光系统，其特征在于，所述补光系统包括：
人脸识别模块，用于识别所述图像中的人脸；
关键点获取模块，用于获取所述人脸的三维稠密关键点；
亮度检测模块，用于利用所述三维稠密关键点检测所述人脸的平均亮度；
补光强度确定模块，用于根据所述平均亮度确定补光强度；其中，所述平均亮度和所述补光强度呈负相关；
光源位置确定模块，用于根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度；根据所述补光光源相对于所述人脸正面的距离和角度确定所述补光光源在三维空间中的位置；
光影图生成模块，用于利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图；
融合模块，用于根据所述补光强度的亮度权重将所述补光光影图与所述人脸进行融合，以实现对所述人脸补光；
所述补光系统还包括：
三角形构建模块，用于对三维稠密关键点做空间三角形剖分得到三角形数组，每个所述三角形均包括三个所述三维稠密关键点；
法向量调整模块，用于调整构成每个三角形的三个所述三维稠密关键点的排列顺序，以使所有的三角形的法向量的指向一致；
查找模块，用于分别查找构成每个三角形的三个所述三维稠密关键点中的Z轴坐标最小的稠密关键点；
渲染顺序确定模块，用于利用所有三角形中的Z轴坐标最小的稠密关键点确定对所述三角形的渲染顺序，所述渲染顺序为按照Z轴坐标从小到大的顺序依次对所述三角形进行渲染；
所述光影图生成模块用于利用所述三维稠密关键点计算每个所述三角形的法向量；根据所述三角形的法向量计算所述三维稠密关键点的归一化法向量；根据所述补光光源相对于所述人脸的位置以及所述三维稠密关键点的归一化法向量计算所述三维稠密关键点相对于光源的方向向量，并对所述方向向量进行归一化处理；利用归一化处理的所述方向向量以及归一化处理的所述三维稠密关键点的法向量计算每个所述三维稠密关键点的补光强度；利用所述三维稠密关键点的补光强度按照所述渲染顺序对构成每个所述三角形的三维稠密关键点进行渲染；将渲染后的三角形投影至二维平面，以得到补光光影图。
8.如权利要求7所述的用于图像中人脸的补光系统，其特征在于，所述补光系统还包括
人脸数量获取模块，用于检测所述图像中的人脸的数量；
判断模块，用于判断所述人脸的数量是否为1；
若数量为1，则调用距离计算模块，所述距离计算模块用于计算成像时的真实人脸与摄像设备的距离；
所述判断模块还用于判断所述距离是否不超过预设距离阈值；
若不超过所述预设距离阈值，则调用所述关键点获取模块。
9.如权利要求7所述的用于图像中人脸的补光系统，其特征在于，
所述补光系统还包括姿态检测模块，用于检测所述人脸的人脸姿态是否满足预设条件，所述人脸姿态包括所述人脸偏离预设水平面的角度、所述人脸偏离预设竖直面的角度、所述人脸在所述预设水平面内的旋转角度的一种或多种；
若所述人脸姿态满足预设条件，则调用所述亮度检测模块。
10.如权利要求9所述的用于图像中人脸的补光系统，其特征在于，
所述光源位置确定模块用于根据所述人脸姿态、所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度。
11.如权利要求7所述的用于图像中人脸的补光系统，其特征在于，
所述补光强度确定模块用于根据所述平均亮度以及平均亮度与补光强度的预设对应关系确定补光强度，不同的所述平均亮度分别对应不同的所述补光强度。
12.如权利要求7所述的用于图像中人脸的补光系统，其特征在于，
所述亮度检测模块用于利用所述三维稠密关键点确定亮度采集区域，所述亮度采集区域位于所述人脸的眼睛和嘴巴之间；利用所述亮度采集区域中的人脸的亮度计算所述平均亮度。
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行计算机程序时实现权利要求1-6任一项所述的用于图像中人脸的补光方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述的用于图像中人脸的补光方法的步骤。
CN202010403252.4A 2020-05-13 2020-05-13 用于图像中人脸的补光方法、系统、介质以及电子设备 Active CN111597963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010403252.4A CN111597963B (zh) 2020-05-13 2020-05-13 用于图像中人脸的补光方法、系统、介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010403252.4A CN111597963B (zh) 2020-05-13 2020-05-13 用于图像中人脸的补光方法、系统、介质以及电子设备

Publications (2)

Publication Number Publication Date
CN111597963A CN111597963A (zh) 2020-08-28
CN111597963B true CN111597963B (zh) 2023-06-06

Family

ID=72191472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010403252.4A Active CN111597963B (zh) 2020-05-13 2020-05-13 用于图像中人脸的补光方法、系统、介质以及电子设备

Country Status (1)

Country Link
CN (1) CN111597963B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115914853B (zh) * 2021-09-18 2023-11-28 荣耀终端有限公司 一种图像补光方法及电子设备
CN115294320B (zh) * 2022-10-08 2022-12-20 平安银行股份有限公司 图像旋转角度的确定方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016208098A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN107506714A (zh) * 2017-08-16 2017-12-22 成都品果科技有限公司 一种人脸图像重光照的方法
CN108537155A (zh) * 2018-03-29 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
JP2018182700A (ja) * 2017-04-21 2018-11-15 キヤノン株式会社 画像処理装置およびその制御方法、プログラム、並びに記憶媒体
CN109325437A (zh) * 2018-09-17 2019-02-12 北京旷视科技有限公司 图像处理方法、装置和系统
CN109785423A (zh) * 2018-12-28 2019-05-21 广州华多网络科技有限公司 图像补光方法、装置及计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016208098A (ja) * 2015-04-15 2016-12-08 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2018182700A (ja) * 2017-04-21 2018-11-15 キヤノン株式会社 画像処理装置およびその制御方法、プログラム、並びに記憶媒体
CN107506714A (zh) * 2017-08-16 2017-12-22 成都品果科技有限公司 一种人脸图像重光照的方法
CN108537155A (zh) * 2018-03-29 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109325437A (zh) * 2018-09-17 2019-02-12 北京旷视科技有限公司 图像处理方法、装置和系统
CN109785423A (zh) * 2018-12-28 2019-05-21 广州华多网络科技有限公司 图像补光方法、装置及计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于图像的虚拟光影技术研究热点》;吴洪宇;金鑫;;《科技导报》;20220328;第38卷(第06期);141-152 *

Also Published As

Publication number Publication date
CN111597963A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN109348089B (zh) 夜景图像处理方法、装置、电子设备及存储介质
WO2021174939A1 (zh) 人脸图像的获取方法与系统
CN105474263B (zh) 用于产生三维人脸模型的系统和方法
CN108234858B (zh) 图像虚化处理方法、装置、存储介质及电子设备
CN111710049B (zh) Ar场景中的环境光照确定方法和装置
CN111105367B (zh) 人脸畸变校正方法、装置、电子设备及存储介质
CN112561978B (zh) 深度估计网络的训练方法、图像的深度估计方法、设备
GB2567530A (en) Virtual reality parallax correction
CN112118435B (zh) 面向异形金属屏幕的多投影融合方法及系统
CN111597963B (zh) 用于图像中人脸的补光方法、系统、介质以及电子设备
KR20200043432A (ko) 이미지 데이터에 가상 조명 조정들을 제공하기 위한 기술
CN113301320B (zh) 图像信息处理方法、装置和电子设备
US20230033267A1 (en) Method, apparatus and system for video processing
US20220360707A1 (en) Photographing method, photographing device, storage medium and electronic device
CN112562056A (zh) 虚拟演播室中虚拟灯光的控制方法、装置、介质与设备
CN113965664A (zh) 一种图像虚化方法、存储介质以及终端设备
CN110719448A (zh) 投影融合带的羽化方法
CN106919246A (zh) 一种应用界面的显示方法和装置
CN115908120B (zh) 图像处理方法和电子设备
CN113592753B (zh) 基于工业相机拍摄的图像的处理方法、装置和计算机设备
WO2022036338A2 (en) System and methods for depth-aware video processing and depth perception enhancement
CN114119701A (zh) 图像处理方法及其装置
TWM625817U (zh) 具時序平滑性之影像模擬系統
CN111583155B (zh) 用于图像中人像的布光方法、系统、介质以及电子设备
EP4150560A1 (en) Single image 3d photography with soft-layering and depth-aware inpainting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant