CN111583155A - 用于图像中人像的布光方法、系统、介质以及电子设备 - Google Patents

用于图像中人像的布光方法、系统、介质以及电子设备 Download PDF

Info

Publication number
CN111583155A
CN111583155A CN202010403277.4A CN202010403277A CN111583155A CN 111583155 A CN111583155 A CN 111583155A CN 202010403277 A CN202010403277 A CN 202010403277A CN 111583155 A CN111583155 A CN 111583155A
Authority
CN
China
Prior art keywords
portrait
image
light
processed
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010403277.4A
Other languages
English (en)
Other versions
CN111583155B (zh
Inventor
谢富名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
Spreadtrum Communications Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Shanghai Co Ltd filed Critical Spreadtrum Communications Shanghai Co Ltd
Priority to CN202010403277.4A priority Critical patent/CN111583155B/zh
Publication of CN111583155A publication Critical patent/CN111583155A/zh
Application granted granted Critical
Publication of CN111583155B publication Critical patent/CN111583155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于图像中人像的布光方法、系统、介质以及电子设备，所述布光方法包括：获取所述图像中待处理的人像；识别所述人像中的肤色区域和非肤色区域；对所述肤色区域和所述非肤色区域进行处理，以平滑人像轮廓突兀点；根据预设布光类型生成布光模板；将所述布光模板、处理后的所述人像以及所述图像进行融合，以实现对图像中的所述人像进行布光。本发明技术方案可以有效改善在对人像进行布光操作时的人像过分割和欠分割的情况，优化了布光效果，提高了用户体验。

Description

用于图像中人像的布光方法、系统、介质以及电子设备
技术领域
本发明涉及图像处理技术领域，具体涉及一种用于图像中人像的布光方法、系统、介质以及电子设备。
背景技术
随着便携移动设备(例如：智能手机)的普及，随时随处的人脸摄像让自拍、秀图成为一种生活时尚。具有摄像头的终端设备为人像拍摄提供了多种模式，例如：人像美颜、背景虚化和人像光效等，但受限于拍摄场景的布景、布光，人像拍照难以获得具有剧场光、窗边光、波点光等虚拟光效的人像布光效果。
现有技术中，有部分软件能够提供人像布光，比如给人像添加剧场光，然而需要对人像进行抠图，造成人像过分割或欠分割明显，人像轮廓突兀，布光效果差，影响了用户体验。
发明内容
本发明要解决的技术问题是为了克服现有技术中为图像中的人像进行布光时，人像轮廓突兀，布光效果差，用户体验差的缺陷，提供一种用于图像中人像的布光方法、系统、介质以及电子设备。
本发明是通过下述技术方案来解决上述技术问题：
一种用于图像中人像的布光方法，所述布光方法包括：
获取所述图像中待处理的人像；
识别所述人像中的肤色区域和非肤色区域；
对所述肤色区域和所述非肤色区域进行处理，以平滑人像轮廓突兀点；
根据预设布光类型生成布光模板；
将所述布光模板、处理后的所述人像以及所述图像进行融合，以实现对图像中的所述人像进行布光。
较佳地，所述获取所述图像中待处理的人像的步骤包括：
按照预设的像素规则从所述图像中分割出所述人像。
较佳地，所述识别所述人像中的肤色区域和非肤色区域的步骤之前还包括：
识别所述人像中的人脸；
获取所述人脸的三维稠密关键点；
利用所述三维稠密关键点检测所述人脸的平均亮度；
根据所述平均亮度确定补光强度；
根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度；
利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图；
将所述补光光影图与所述人脸进行融合，以实现对所述人像中的人脸补光。
较佳地，所述获取所述人脸的三维稠密关键点的步骤之前还包括：
获取所述图像中的人脸的数量；
判断所述人脸的数量是否为1；
若数量为1，则计算成像时的真实人脸与摄像设备的距离；
判断所述距离是否不超过预设距离阈值；
若不超过所述预设距离阈值，则执行获取所述人脸的三维稠密关键点的步骤。
较佳地，所述利用所述三维稠密关键点检测所述人脸的平均亮度的步骤之前还包括：检测所述人脸的人脸姿态是否满足预设条件，所述人脸姿态包括所述人脸偏离预设水平面的角度、所述人脸偏离预设竖直面的角度、所述人脸在所述预设水平面内的旋转角度的一种或多种；
若所述人脸姿态满足预设条件，则执行利用所述三维稠密关键点检测所述人脸的平均亮度的步骤。
较佳地，所述根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度的步骤包括：
根据所述人脸姿态、所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度。
较佳地，所述根据所述平均亮度确定补光强度的步骤包括；
根据所述平均亮度以及平均亮度与补光强度的预设对应关系确定补光强度，不同的所述平均亮度分别对应不同的所述补光强度。
较佳地，所述利用所述三维稠密关键点检测所述人脸的平均亮度的步骤包括：
利用所述三维稠密关键点确定亮度采集区域，所述亮度采集区域位于所述人脸的眼睛和嘴巴之间；
利用所述亮度采集区域中的人脸的亮度计算所述平均亮度。
较佳地，所述识别所述人像中的肤色区域和非肤色区域的步骤包括：
统计所述亮度采集区域的肤色高斯分布的均值和标准差；
利用所述均值和标准差识别所述人像中的肤色区域和非肤色区域；
计算所述人像的Y通道纹理信息；
根据所述纹理信息调整识别出的所述人像中的肤色区域和非肤色区域。
较佳地，所述对所述肤色区域和所述非肤色区域进行处理，以平滑人像轮廓突兀点的步骤包括：
对所述人像中的非肤色区域进行条件形态学腐蚀处理，以得到第一处理人像；
对所述第一处理人像进行中值滤波处理，以得到第二处理人像；
对所述第二处理人像中的非肤色区域进行条件均值滤波处理，并将条件均值滤波处理后的所述非肤色区域与条件形态学腐蚀处理前的所述人像中的肤色区域进行融合，以得到第三处理人像；
对所述第三处理人像进行双线性插值处理，并对双线性插值处理后的第三处理人像的长和宽均放大至所述条件形态学腐蚀处理前的所述人像的若干倍，以得到第四处理人像；
对所述第四处理人像进行中值滤波处理，并对中值滤波处理后的所述第四处理人像按照预设尺寸进行均值滤波，以得到第五处理人像；
对所述第五处理人像进行双线性插值处理，以得到第六处理人像，所述第六处理人像为所述平滑人像轮廓突兀点后的人像。
较佳地，若用户选择的所述布光类型为需要生成人像阴影的类型；则根据预设布光类型生成布光模板的步骤之后还包括；
利用第一预设移动参数以及所述第六处理人像生成第七处理人像；
利用所述第七处理人像与所述第六处理人像生成所述人像阴影；
利用第二预设移动参数、所述人像阴影、所述第六处理人像以及所述第七处理人像调整所述布光模板；
所述将所述布光模板、处理后的所述人像以及所述图像进行融合，以实现对图像中的所述人像进行布光的步骤包括：
利用调整后的所述布光模板、所述第六处理人像以及所述图像进行融合，以实现对图像中的所述人像进行布光。
一种用于图像中人像的布光系统，所述布光系统包括：
人像获取模块，用于获取所述图像中待处理的人像；
肤色识别模块，用于识别所述人像中的肤色区域和非肤色区域；
人像轮廓处理模块，对所述肤色区域和所述非肤色区域进行处理，以平滑人像轮廓突兀点；
布光模板生成模块，用于根据预设布光类型生成布光模板；
布光融合模块，用于将所述布光模板、处理后的所述人像以及所述图像进行融合，以实现对图像中的所述人像进行布光。
较佳地，所述人像获取模块用于按照预设的像素规则从所述图像中分割出所述人像。
较佳地，所述布光系统还包括：
人脸识别模块，用于识别所述人像中的人脸；
关键点获取模块，用于获取所述人脸的三维稠密关键点；
亮度检测模块，用于利用所述三维稠密关键点检测所述人脸的平均亮度；
补光强度确定模块，用于根据所述平均亮度确定补光强度；
光源位置确定模块，用于根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度；
光影图生成模块，用于利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图；
补光融合模块，用于将所述补光光影图与所述人脸进行融合，以实现对所述人像中的人脸补光。
较佳地，所述布光系统还包括：
人脸数量获取模块，用于检测所述图像中的人脸的数量；
判断模块，用于判断所述人脸的数量是否为1；
若数量为1，则调用距离计算模块，所述距离计算模块用于计算成像时的真实人脸与摄像设备的距离；
所述判断模块还用于判断所述距离是否不超过预设距离阈值；
若不超过所述预设距离阈值，则调用所述关键点获取模块。
较佳地，所述布光系统还包括姿态检测模块，用于检测检测所述人脸的人脸姿态是否满足预设条件，所述人脸姿态包括所述人脸偏离预设水平面的角度、所述人脸偏离预设竖直面的角度、所述人脸在所述预设水平面内的旋转角度的一种或多种；
若所述人脸姿态满足预设条件，则调用所述亮度检测模块。
较佳地，所述光源位置确定模块用于根据所述人脸姿态、所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度。
较佳地，所述补光强度确定模块用于根据所述平均亮度以及平均亮度与补光强度的预设对应关系确定补光强度，不同的所述平均亮度分别对应不同的所述补光强度。
较佳地，所述亮度检测模块用于利用所述三维稠密关键点确定亮度采集区域，所述亮度采集区域位于所述人脸的眼睛和嘴巴之间；利用所述亮度采集区域中的人脸的亮度计算所述平均亮度。
较佳地，所述肤色识别模块用于统计所述亮度采集区域的肤色高斯分布的均值和标准差；利用所述均值和标准差识别所述人像中的肤色区域和非肤色区域；计算所述人像的Y通道纹理信息；根据所述纹理信息调整识别出的所述人像中的肤色区域和非肤色区域。
较佳地，所述人像轮廓处理模块用于对所述人像中的非肤色区域进行条件形态学腐蚀处理，以得到第一处理人像；
对所述第一处理人像进行中值滤波处理，以得到第二处理人像；
对所述第二处理人像中的非肤色区域进行条件均值滤波处理，并将条件均值滤波处理后的所述非肤色区域与条件形态学腐蚀处理前的所述人像中的肤色区域进行融合，以得到第三处理人像；
对所述第三处理人像进行双线性插值处理，并对双线性插值处理后的第三处理人像的长和宽均放大至所述条件形态学腐蚀处理前的所述人像的若干倍，以得到第四处理人像；
对所述第四处理人像进行中值滤波处理，并对中值滤波处理后的所述第四处理人像按照预设尺寸进行均值滤波，以得到第五处理人像；
对所述第五处理人像进行双线性插值处理，以得到第六处理人像，所述第六处理人像为所述平滑人像轮廓突兀点后的人像。
较佳地，若用户选择的所述布光类型为需要生成人像阴影的类型；所述布光系统还包括布光模板调整模块；
所述布光模板调整模块用于利用第一预设移动参数以及所述第六处理人像生成第七处理人像；
利用所述第七处理人像与所述第六处理人像生成所述人像阴影；
利用第二预设移动参数、所述人像阴影、所述第六处理人像以及所述第七处理人像调整所述布光模板；
所述将所述布光模板、处理后的所述人像以及所述图像进行融合，以实现对图像中的所述人像进行布光的步骤包括：
利用调整后的所述布光模板、所述第六处理人像以及所述图像进行融合，以实现对图像中的所述人像进行布光。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现前述的用于图像中人像的布光方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述的用于图像中人像的布光方法的步骤。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。
本发明的积极进步效果在于：本发明提供的用于图像中人像的布光方法及布光系统，通过获取所述图像中待处理的人像；识别所述人像中的肤色区域和非肤色区域；对所述肤色区域和所述非肤色区域进行处理，以平滑人像轮廓突兀点；根据预设布光类型生成布光模板；将所述布光模板、处理后的所述人像以及所述图像进行融合，以实现对图像中的所述人像进行布光。由此，解决了在对人像进行布光操作时的人像过分割和欠分割的问题，改善了布光效果，提高了用户体验。
附图说明
图1为本发明实施例1的用于图像中人像的布光方法的流程图。
图2为本发明实施例2的用于图像中人像的布光方法的流程图。
图3为本发明实施例3的用于图像中人像的布光方法的流程图。
图4为本发明实施例4的用于图像中人像的布光系统的结构框图。
图5为本发明实施例5的用于图像中人像的布光系统的结构框图。
图6为本发明实施例6的用于图像中人像的布光系统的结构框图。
图7为本发明实施例7的电子设备的结构框图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供一种用于图像中人像的布光方法，所述图像可以是包括背景和人像的静态图片或动态视频，本实施例对图像的具体形态不做限制。
所述布光是指对人像添加剧场光、窗边光、波点光等光效。
如图1所示，所述布光方法可以包括：
步骤S10：获取所述图像中待处理的人像；
步骤S11：识别所述人像中的肤色区域和非肤色区域；其中，所述肤色区域可以是不被衣服覆盖的脸部、脖子等，所述非肤色区域是指肤色区域以外的区域。
步骤S12：对所述肤色区域和所述非肤色区域进行处理，以平滑人像轮廓突兀点；
具体地，所述人像轮廓突兀点包括人像边缘锯齿等不规则部分。
步骤S13：根据预设布光类型生成布光模板；
步骤S14：将所述布光模板、处理后的所述人像以及所述图像进行融合，以实现对图像中的所述人像进行布光。
本实施例中，由于初始拍摄Imagesrc的图像尺寸较大，因此，可以先对初始拍摄的图像进行尺寸缩小后再进行面部识别，并且利用尺寸缩小后的图像来检测人像的数量以及计算真实对象与终端设备的距离，以降低处理器的负担。
本实施例中，所述步骤S10可以通过如下方式执行：按照预设的像素规则从所述图像中分割出所述人像，分割出的人像标记为Portraitm1。考虑到算法时效性，Portraitm1尺寸通常小于Imagesrc在前述步骤中尺寸缩小后的图像，显而易见的，Portraitm1的尺寸远小于Imagesrc，例如:
Portraitm1＝Size(384×512)<Imagesrc＝Size(4896×6528)；
其中，384×512以及4896×6528代表图像中的像素分布。
本实施例提供的用于图像中人像的布光方法，解决了在对人像进行布光操作时的人像过分割和欠分割的问题，改善了布光效果，提高了用户体验。另外，通过对原始拍摄的图像进行处理，然后再识别并分割人像，有效提高了算法的实效性和布光效率。
实施例2
本实施例提供一种用于图像中人像的布光方法，该布光方法是在实施例1基础上的进一步改进。
进一步地，所述步骤S11之前还可以包括：
步骤S20：识别所述人像中的人脸；
步骤S21：获取所述人脸的三维稠密关键点；
本实施例中，使用自动面部识别和三维人脸稠密关键点对齐技术，可实时对人脸位置准确定位，并拟合人脸姿态、表情和形状。
步骤S22：利用所述三维稠密关键点检测所述人脸的平均亮度；
优选地，可以利用所述三维稠密关键点确定亮度采集区域，所述亮度采集区域位于所述人脸的眼睛和嘴巴之间；然后，利用所述亮度采集区域中的人脸的亮度计算所述平均亮度。
其中，人脸平均亮度srcY的计算可以包括但不限于如下方式：定义左眼中心坐标Pel＝(Xel,Yel)，右眼中心坐标Per＝(Xer,Yer)，嘴巴中心坐标Pm＝(Xm,Ym)。
根据检测的关键点确定一小块人脸肤色区域：
Figure BDA0002490298680000091
Figure BDA0002490298680000092
Figure BDA0002490298680000093
Figure BDA0002490298680000094
faceSize＝MAX(eDist,meDist)
其中，中Pec，Pme，分别是两眼的中心和眼嘴的中心，eDist是两眼之间的距离，meDist是嘴巴中心和两眼的中点之间距离，faceSize是人脸尺寸，MAX()为取最大值函数。
肤色区域可以表示为：
Figure BDA0002490298680000101
Figure BDA0002490298680000102
Rskin是人脸的肤色区域，Xs,Ys分别为肤色区域的Rskin的中心坐标，Ws,Hs分别表示以中心坐标为基准的宽和高。统计Rskin区域内的Y通道亮度均值便是人脸的平均亮度srcY。Y通道是指通用的YUV(一种颜色编码方法)颜色空间中的通道之一。
步骤S23：根据所述平均亮度确定补光强度；
优选地，可以根据所述平均亮度以及平均亮度与补光强度的预设对应关系确定补光强度，不同的所述平均亮度分别对应不同的所述补光强度。
具体地，所述预设对应关系可以包括但不限于映射曲线、查找表等形式，本领域技术人员可以根据具体需求而适应性的设置对应关系。例如：可以将所述平均亮度输入预设的映射曲线，以得到所述补光强度；所述映射曲线Lightcurve()为所述平均亮度srcY与所述补光强度dstY之间的一一对应关系曲线，即dstY＝Lightcurve(srcY)。该预设映射曲线可以为非线性曲线。
通常情况下，当人脸的亮度越高，需要补充的补光强度相应越小。当人脸的亮度越低，需要补充的补光强度相应越大。
步骤S24：根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度；
其中，预设光效类型除了包括现有技术中较为常用的高光、阴影、聚光照明等光效外，还可以包括技术人员提前预设的个性化光照效果，不同的个性化光照效果对应不同的光源位置。
步骤S25：利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图；
具体地，对三维稠密关键点进行空间三角化后再进行补光渲染，获得所述补光光影图(即轮廓光光影图)Lightshade。
在构建空间三角形的过程中，多个三角形可以共用顶点(即关键点)，但每个三角形的平面不与其他任何三角形的平面交叉。
步骤S26：将所述补光光影图与所述人脸进行融合，以实现对所述人像中的人脸补光。
具体地，将所述补光光影图Lightshade与所述人脸在YUV(一种颜色编码方法)颜色空间中的Y通道进行融合，得到补光后的人脸光效图：
Lightup＝(dstY-srcY)/255
Lightw＝1+(Lightshade·Lightup)
ImagetmpY＝MIN(ImagesrcY·Lightw,255)
其中MIN()是求最小值函数，Lightup是亮度系数，Lightw是第一亮度权重，ImagesrcY是原Y通道人脸图像，ImagetmpY是补光后的Y通道结果图像。
本实施例提供的用于图像中人像的布光方法，在对人像布光之前，通过对三维稠密关键点进行空间三角化后进行人脸补光渲染，可实现人脸聚光照明，补光效果明显，从而可以提高人像布光后的整体视觉效果。
实施例3
本实施例提供一种用于图像中人像的布光方法，该布光方法是在实施例2基础上的进一步改进。
如图3所示，所述步骤S21之前还可以包括如下优选地步骤：
步骤S30：获取所述图像中的人脸的数量；
步骤S31：判断所述人脸的数量是否为1；
若数量为1，则执行步骤S32：计算成像时的真实人脸与摄像设备的距离；
步骤S33：判断所述距离是否不超过预设距离阈值；若不超过所述预设距离阈值，则执行所述步骤S21。
本实施例中，考虑到多人脸场景较为复杂，可能出现人脸交叉遮挡情况，若检测出图像中的人脸个数为2个以上，则不对该图像中的人脸进行补光。同样的，若成像时的真实人脸与终端的摄像设备的距离大于预设距离阈值，则认为最终成像的人脸尺寸太小，也不为该人像进行补光。
优选地，所述步骤S22之前还可以包括：
步骤S34：检测所述人脸的人脸姿态是否满足预设条件，所述人脸姿态包括所述人脸偏离预设水平面的角度、所述人脸偏离预设竖直面的角度、所述人脸在所述预设水平面内的旋转角度的一种或多种；
其中，预设水平面和预设竖直面是与摄像头正对的人脸正面所在的水平面和竖直面。
若所述人脸姿态满足预设条件，则执行步骤S22。
若所述人脸姿态不满足条件，则说明人脸向后偏转或者俯仰的角度太大，对人脸补光已经没有意义，在此种情况下，则放弃对人脸的补光和后续的人像布光。
对于在补光过程中考虑人脸姿态的场景下，可以根据所述人脸姿态、所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度。
具体地，补光光源相对于人脸正面的距离和角度可以确定在三维空间中设置补光光源的位置，即补光光源在三维空间中的三维位置坐标。
优选地，光源位置信息可以通过如下方式获得：
Lightsrc＝(Xls,Yls,Zls)
Lightdst＝(Xds,Yds,Zds)＝Lightsrc×Matr[3][3]
其中Lightsrc是根据光效类型而自动选定的起始补光光源位置，Matr[3][3]是通过人脸三维稠密关键点计算出来的人脸姿态旋转矩阵，Lightdst是计算出来的最终人脸补光位置，该位置随着人脸姿态发生变化，使得人脸补光效果稳定。
本实施例中，可以采用现有技术中的较为成熟的统计学方法来进行肤色区域和非肤色区域的识别(或估计)，具体原理在于，假设肤色服从高斯分布，可以先在图中选定参考区域，并统计参考区域肤色高斯分布的均值和标准差，得到肤色概率模板(一种颜色灰度图)，利用该肤色概率模板来估计图中其他区域的肤色区域和非肤色区域。进一步地，还可以利用图像的Y通道纹理信息来优化肤色概率模板，以使得肤色识别(或估计)更加精确。
基于上述描述的利用统计学的肤色识别方法，优选地，所述步骤S11具体可以通过如下方式执行：首先，统计所述亮度采集区域的肤色高斯分布的均值和标准差；接下来，利用所述均值和标准差识别所述人像中的肤色区域和非肤色区域；接下来，计算所述人像的Y通道纹理信息；接下来，根据所述纹理信息调整识别出的所述人像中的肤色区域和非肤色区域。
本实施例中，所述步骤S12具体可以通过如下方式执行：
对所述人像Portraitm1中的非肤色区域进行条件形态学腐蚀处理，肤色区域不做腐蚀，这样可改善人像过分割问题，由此得到第一处理人像Portraitm2。
接下来，对所述第一处理人像Portraitm2进行中值滤波处理，以得到第二处理人像Portraitm3；该处理方式可解决人像轮廓突兀问题，提高人像轮廓光滑度。
接下来，对所述第二处理人像Portraitm3中的非肤色区域进行条件均值滤波处理，肤色区域不做滤波，然后，将条件均值滤波处理后的所述非肤色区域与条件形态学腐蚀处理前的所述人像Portraitm1中的肤色区域进行融合，以得到第三处理人像Portraitm4。
接下来，对所述第三处理人像Portraitm4进行双线性插值处理，并对双线性插值处理后的第三处理人像Portraitm4的长和宽均放大至所述条件形态学腐蚀处理前的所述人像Portraitm1的若干倍(例如：两倍)，以得到第四处理人像Portraitm5；
接下来，对所述第四处理人像Portraitm5进行中值滤波处理，并对中值滤波处理后的所述第四处理人像Portraitm5按照预设尺寸(例如：Size＝3×3)进行均值滤波，以得到第五处理人像Portraitm6；
接下来，对所述第五处理人像Portraitm6进行双线性插值处理，以得到第六处理人像Portraitm7，所述第六处理人像Portraitm7为所述平滑人像轮廓突兀点后的人像。
本实施例中，根据布光类型选择布光模板Lightmode，例如：所述布光类型可以包括剧场光、窗边光和波点光等，分别对应布光模板为暗黑光影、窗边光影、波点光影等。
接下来，根据布光类型选择是否生成人像阴影Lightshade，剧场光由于人像背景需要替换为暗黑色，所以不需要生成人像阴影，其它布光类型的人像阴影生成方式如下：
利用第一预设移动参数shiftx,shifty以及所述第六处理人像Portraitm7生成第七处理人像Portraitm8。具体地：
shiftx＝shifty＝faceSize/ratio
Portraitm8＝Move(Portraitm7,shiftx,shifty)
其中，Move()表示人像模板沿着X轴方向平移shiftx，沿着Y轴平移shifty，ratio∈[2,10]可合理设定。
接下来，利用所述第七处理人像Portraitm8与所述第六处理人像Portraitm7生成所述人像阴影；具体地；
Lightshade＝(Portraitm7∪Portraitm8)-Portraitm7＝128
接下来，利用第二预设移动参数offsetx,offsety、所述人像阴影、所述第六处理人像以及所述第七处理人像调整所述布光模板，即更新所述布光模板；
由于人像与人像背景在三维空间可能处于两个平面，光线投影在两个平面会出现错位，所以需要更新布光模板Lightmode，以得到Lightmode2；
具体地：(offsetx,offsety)＝(faceSize/ratio,faceSize/ratio)
Lightmode2＝(Lightmode-(Portraitm7∪Portraitm8))∪Lightshade
∪Offset((Lightmode∩Portraitm7),offsetx,offsety)
其中Offset()表示模板为沿着X轴方向偏移offsetx，沿着Y轴偏移offsety。
接下来，可以利用调整后的所述布光模板、所述第六处理人像以及所述图像进行融合，以实现对图像中的所述人像进行布光。
Lightw2＝1+(Lightmode2·Lightw)
Lightw3＝MIN(Lightw2·Lightbg,255)·(255-Portraitm7)
ImagedstY＝MIN(ImagetmpY·Lightw2,255)·(Portraitm7/255)+Lightw3
ImagedstU＝ImagesrcU+(128-ImagesrcU)·(255-Portraitm7)/255
ImagedstV＝ImagesrcV+(128-ImagesrcV)·(255-Portraitm7)/255
其中，Lightbg是人像背景布光强度，ImagesrcU是原人像图像U通道，ImagesrcV是原人像图像V通道，MIN()是取最小值函数，Lightw2是第二亮度权重，Lightw3是第三亮度权重，ImagedstY是Y通道布光后的光效，ImagedstV是V通道布光后的光效，ImagedstU是U通道布光后的光效。
本实施例提供的用于图像中人像的布光方法，可以结合肤色检测模板，提高人像背景替换精度，改善布光效果，在人像分割后采用相应地后处理算法对人像进行处理，有效解决了边缘锯齿问题，改善人像轮廓的光滑度，且人像布光在YUV颜色空间进行，可大大降低算法复杂度。
实施例4
本实施例提供一种用于图像中人像的布光系统，所述图像可以是包括背景和人像的静态图片或动态视频，本实施例对图像的具体形态不做限制。
所述布光是指对人像添加剧场光、窗边光、波点光等光效。
如图4所示，所述布光系统1可以包括：
人像获取模块11，用于获取所述图像中待处理的人像；
肤色识别模块12，用于识别所述人像中的肤色区域和非肤色区域；其中，所述肤色区域可以是不被衣服覆盖的脸部、脖子等，所述非肤色区域是指肤色区域以外的区域。
人像轮廓处理模块13，对所述肤色区域和所述非肤色区域进行处理，以平滑人像轮廓突兀点；具体地，所述人像轮廓突兀点包括人像边缘锯齿等不规则部分。
布光模板生成模块14，用于根据预设布光类型生成布光模板；
布光融合模块15，用于将所述布光模板、处理后的所述人像以及所述图像进行融合，以实现对图像中的所述人像进行布光。
本实施例中，由于初始拍摄Imagesrc的图像尺寸较大，因此，可以先对初始拍摄的图像进行尺寸缩小后再进行面部识别，并且利用尺寸缩小后的图像来检测人像的数量以及计算真实对象与终端设备的距离，以降低处理器的负担。
本实施例中，所述人像获取模块11用于按照预设的像素规则从所述图像中分割出所述人像，分割出的人像标记为Portraitm1。考虑到算法时效性，Portraitm1尺寸通常小于Imagesrc在前述步骤中尺寸缩小后的图像，显而易见的，Portraitm1的尺寸远小于Imagesrc，例如:
Portraitm1＝Size(384×512)<Imagesrc＝Size(4896×6528)；
其中，384×512以及4896×6528代表图像中的像素分布。
本实施例提供的用于图像中人像的布光系统，解决了在对人像进行布光操作时的人像过分割和欠分割的问题，改善了布光效果，提高了用户体验。另外，通过对原始拍摄的图像进行处理，然后再识别并分割人像，有效提高了算法的实效性和布光效率。
实施例5
本实施例提供一种用于图像中人像的布光系统，该布光系统是在实施例4基础上的进一步改进。
如图5所示，所述布光系统1还可以包括：
人脸识别模块21，用于识别所述人像中的人脸；
关键点获取模块22，用于获取所述人脸的三维稠密关键点；
本实施例中，使用自动面部识别和三维人脸稠密关键点对齐技术，可实时对人脸位置准确定位，并拟合人脸姿态、表情和形状。
亮度检测模块23，用于利用所述三维稠密关键点检测所述人脸的平均亮度；
优选地，可以利用所述三维稠密关键点确定亮度采集区域，所述亮度采集区域位于所述人脸的眼睛和嘴巴之间；然后，利用所述亮度采集区域中的人脸的亮度计算所述平均亮度。
其中，人脸平均亮度srcY的计算可以包括但不限于如下方式：定义左眼中心坐标Pel＝(Xel,Yel)，右眼中心坐标Per＝(Xer,Yer)，嘴巴中心坐标Pm＝(Xm,Ym)。
根据检测的关键点确定一小块人脸肤色区域：
Figure BDA0002490298680000171
Figure BDA0002490298680000172
Figure BDA0002490298680000173
Figure BDA0002490298680000174
faceSize＝MAX(eDist,meDist)
其中，中Pec，Pme，分别是两眼的中心和眼嘴的中心，eDist是两眼之间的距离，meDist是嘴巴中心和两眼的中点之间距离，faceSize是人脸尺寸，MAX()为取最大值函数。
肤色区域可以表示为：
Figure BDA0002490298680000175
Figure BDA0002490298680000176
Rskin是人脸的肤色区域，Xs,Ys分别为肤色区域的Rskin的中心坐标，Ws,Hs分别表示以中心坐标为基准的宽和高。统计Rskin区域内的Y通道亮度均值便是人脸的平均亮度srcY。Y通道是指通用的YUV(一种颜色编码方法)颜色空间中的通道之一。
补光强度确定模块24，用于根据所述平均亮度确定补光强度；
优选地，所述补光强度确定模块24可以根据所述平均亮度以及平均亮度与补光强度的预设对应关系确定补光强度，不同的所述平均亮度分别对应不同的所述补光强度。
具体地，所述预设对应关系可以包括但不限于映射曲线、查找表等形式，本领域技术人员可以根据具体需求而适应性的设置对应关系。例如：可以将所述平均亮度输入预设的映射曲线，以得到所述补光强度；所述映射曲线Lightcurve()为所述平均亮度srcY与所述补光强度dstY之间的一一对应关系曲线，即dstY＝Lightcurve(srcY)。该预设映射曲线可以为非线性曲线。
通常情况下，当人脸的亮度越高，需要补充的补光强度相应越小。当人脸的亮度越低，需要补充的补光强度相应越大。
光源位置确定模块25，用于根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度；其中，预设光效类型除了包括现有技术中较为常用的高光、阴影、聚光照明等光效外，还可以包括技术人员提前预设的个性化光照效果，不同的个性化光照效果对应不同的光源位置。
光影图生成模块26，用于利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图；
具体地，对三维稠密关键点进行空间三角化后再进行补光渲染，获得所述补光光影图(即轮廓光光影图)Lightshade。
在构建空间三角形的过程中，多个三角形可以共用顶点(即关键点)，但每个三角形的平面不与其他任何三角形的平面交叉。
补光融合模块27，用于将所述补光光影图与所述人脸进行融合，以实现对所述人像中的人脸补光。
具体地，将所述补光光影图Lightshade与所述人脸在YUV(一种颜色编码方法)颜色空间中的Y通道进行融合，得到补光后的人脸光效图：
Lightup＝(dstY-srcY)/255
Lightw＝1+(Lightshade·Lightup)
ImagetmpY＝MIN(ImagesrcY·Lightw,255)
其中MIN()是求最小值函数，Lightup是亮度系数，Lightw是第一亮度权重，ImagesrcY是原Y通道人脸图像，ImagetmpY是补光后的Y通道结果图像。
本实施例提供的用于图像中人像的布光系统，在对人像布光之前，通过对三维稠密关键点进行空间三角化后进行人脸补光渲染，可实现人脸聚光照明，补光效果明显，从而可以提高人像布光后的整体视觉效果。
实施例6
本实施例提供一种用于图像中人像的布光系统，该布光系统是在实施例5基础上的进一步改进。
如图6所示，所述布光系统1还可以包括：
人脸数量获取模块31，用于获取所述图像中的人脸的数量；
判断模块32，用于判断所述人脸的数量是否为1；
若数量为1，则调用距离计算模块33，所述距离计算模块33用于计算成像时的真实人脸与摄像设备的距离；
所述判断模块32还用于判断所述距离是否不超过预设距离阈值；
若不超过所述预设距离阈值，则调用所述关键点获取模块22。
本实施例中，考虑到多人脸场景较为复杂，可能出现人脸交叉遮挡情况，若检测出图像中的人脸个数为2个以上，则不对该图像中的人脸进行补光。同样的，若成像时的真实人脸与终端的摄像设备的距离大于预设距离阈值，则认为最终成像的人脸尺寸太小，也不为该人像进行补光。
进一步地，所述布光系统还包括姿态检测模块34，用于检测所述人脸的人脸姿态是否满足预设条件，所述人脸姿态包括所述人脸偏离预设水平面的角度、所述人脸偏离预设竖直面的角度、所述人脸在所述预设水平面内的旋转角度的一种或多种；其中，预设水平面和预设竖直面是与摄像头正对的人脸正面所在的水平面和竖直面。
若所述人脸姿态满足预设条件，则调用所述亮度检测模块23。
若所述人脸姿态不满足条件，则说明人脸向后偏转或者俯仰的角度太大，对人脸补光已经没有意义，在此种情况下，则放弃对人脸的补光和后续的人像布光。
对于需要考虑人脸姿态的场景下，所述光源位置确定模块25用于根据所述人脸姿态、所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度。
具体地，补光光源相对于人脸正面的距离和角度可以确定在三维空间中设置补光光源的位置，即补光光源在三维空间中的三维位置坐标。
优选地，光源位置信息可以通过如下方式获得：
Lightsrc＝(Xls,Yls,Zls)
Lightdst＝(Xds,Yds,Zds)＝Lightsrc×Matr[3][3]
其中Lightsrc是根据光效类型而自动选定的起始补光光源位置，Matr[3][3]是通过人脸三维稠密关键点计算出来的人脸姿态旋转矩阵，Lightdst是计算出来的最终人脸补光位置，该位置随着人脸姿态发生变化，使得人脸补光效果稳定。
本实施例中，可以采用现有技术中的较为成熟的统计学方法来进行肤色区域和非肤色区域的识别(或估计)，具体原理在于，假设肤色服从高斯分布，可以先在图中选定参考区域，并统计参考区域肤色高斯分布的均值和标准差，得到肤色概率模板(一种颜色灰度图)，利用该肤色概率模板来估计图中其他区域的肤色区域和非肤色区域。进一步地，还可以利用图像的Y通道纹理信息来优化肤色概率模板，以使得肤色识别(或估计)更加精确。
基于上述描述的利用统计学的肤色识别方法，优选地，所述肤色识别模块12可以用于统计所述亮度采集区域的肤色高斯分布的均值和标准差；利用所述均值和标准差识别所述人像中的肤色区域和非肤色区域；计算所述人像的Y通道纹理信息；根据所述纹理信息调整识别出的所述人像中的肤色区域和非肤色区域。
本实施例中，所述人像轮廓处理模块13用于对所述人像Portraitm1中的非肤色区域进行条件形态学腐蚀处理，肤色区域不做腐蚀，这样可改善人像过分割问题，由此得到第一处理人像Portraitm2。
接下来，所述人像轮廓处理模块13还用于对所述第一处理人像Portraitm2进行中值滤波处理，以得到第二处理人像Portraitm3；该处理方式可解决人像轮廓突兀问题，提高人像轮廓光滑度。
接下来，所述人像轮廓处理模块13还用于对所述第二处理人像Portraitm3中的非肤色区域进行条件均值滤波处理，肤色区域不做滤波，然后，将条件均值滤波处理后的所述非肤色区域与条件形态学腐蚀处理前的所述人像Portraitm1中的肤色区域进行融合，以得到第三处理人像Portraitm4。
接下来，所述人像轮廓处理模块13还用于对所述第三处理人像Portraitm4进行双线性插值处理，并对双线性插值处理后的第三处理人像Portraitm4的长和宽均放大至所述条件形态学腐蚀处理前的所述人像Portraitm1的若干倍(例如：两倍)，以得到第四处理人像Portraitm5；
接下来，所述人像轮廓处理模块13还用于对所述第四处理人像Portraitm5进行中值滤波处理，并对中值滤波处理后的所述第四处理人像Portraitm5按照预设尺寸(例如：Size＝3×3)进行均值滤波，以得到第五处理人像Portraitm6；
接下来，所述人像轮廓处理模块13还用于对所述第五处理人像Portraitm6进行双线性插值处理，以得到第六处理人像Portraitm7，所述第六处理人像Portraitm7为所述平滑人像轮廓突兀点后的人像。
本实施例中，可以根据布光类型选择布光模板Lightmode，例如：所述布光类型可以包括剧场光、窗边光和波点光等，分别对应的布光模板为暗黑光影、窗边影、波点光影等。可以根据布光类型选择是否生成人像阴影Lightshade，剧场光由于人像背景需要替换为暗黑色，所以不需要生成人像阴影，其它布光类型则需要生成人像阴影。
所述布光系统1还可以包括布光模板调整模块35，所述布光模板调整模块35可以利用第一预设移动参数shiftx,shifty以及所述第六处理人像Portraitm7生成第七处理人像Portraitm8。具体地：
shiftx＝shifty＝faceSize/ratio
Portraitm8＝Move(Portraitm7,shiftx,shifty)
其中，Move()表示人像模板沿着X轴方向平移shiftx，沿着Y轴平移shifty，ratio∈[2,10]可合理设定。
接下来，所述布光模板调整模块35还可以利用所述第七处理人像Portraitm8与所述第六处理人像Portraitm7生成所述人像阴影；具体地；
Lightshade＝(Portraitm7∪Portraitm8)-Portraitm7＝128
接下来，所述布光模板调整模块35还可以利用第二预设移动参数offsetx,offsety、所述人像阴影、所述第六处理人像以及所述第七处理人像调整所述布光模板，即更新所述布光模板；
由于人像与人像背景在三维空间可能处于两个平面，光线投影在两个平面会出现错位，所以需要更新布光模板Lightmode，以得到Lightmode2；
具体地：(offsetx,offsety)＝(faceSize/ratio,faceSize/ratio)
Lightmode2＝(Lightmode-(Portraitm7∪Portraitm8))∪Lightshade
∪Offset((Lightmode∩Portraitm7),offsetx,offsety)
其中Offset()表示模板为沿着X轴方向偏移offsetx，沿着Y轴偏移offsety。
接下来，所述布光融合模块15可以利用调整后的所述布光模板、所述第六处理人像以及所述图像进行融合，以实现对图像中的所述人像进行布光。
Lightw2＝1+(Lightmode2·Lightw)
Lightw3＝MIN(Lightw2·Lightbg,255)·(255-Portraitm7)
ImagedstY＝MIN(ImagetmpY·Lightw2,255)·(Portraitm7/255)+Lightw3
ImagedstU＝ImagesrcU+(128-ImagesrcU)·(255-Portraitm7)/255
ImagedstV＝ImagesrcV+(128-ImagesrcV)·(255-Portraitm7)/255
其中，Lightbg是人像背景布光强度，ImagesrcU是原人像图像U通道，ImagesrcV是原人像图像V通道，MIN()是取最小值函数，Lightw2是第二亮度权重，Lightw3是第三亮度权重，ImagedstY是Y通道布光后的光效，ImagedstV是V通道布光后的光效，ImagedstU是U通道布光后的光效。
本实施例提供的用于图像中人像的布光方法，可以结合肤色检测模板，提高人像背景替换精度，改善布光效果，在人像分割后采用相应地后处理算法对人像进行处理，有效解决了边缘锯齿问题，改善人像轮廓的光滑度，且人像布光在YUV颜色空间进行，可大大降低算法复杂度。
实施例7
本发明还提供一种电子设备，如图7所示，所述电子设备可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现前述实施例1-3中任一实施例所述的用于图像中人像的布光方法的步骤。
可以理解的是，图7所示的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备2可以以通用计算设备的形式表现，例如：其可以为服务器设备。电子设备2的组件可以包括但不限于：上述至少一个处理器3、上述至少一个存储器4、连接不同系统组件(包括存储器4和处理器3)的总线5。
所述总线5可以包括数据总线、地址总线和控制总线。
所述存储器4可以包括易失性存储器，例如随机存取存储器(RAM)41和/或高速缓存存储器42，还可以进一步包括只读存储器(ROM)43。
所述存储器4还可以包括具有一组(至少一个)程序模块44的程序工具45(或实用工具)，这样的程序模块44包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
所述处理器3通过运行存储在所述存储器4中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明前述实施例1-3中任一实施例所述的用于图像中人像的布光方法的步骤。
所述电子设备2也可以与一个或多个外部设备6(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口7进行。并且，模型生成的电子设备2还可以通过网络适配器8与一个或者多个网络(例如局域网LAN，广域网WAN和/或公共网络)通信。
如图7所示，网络适配器8可以通过总线5与模型生成的电子设备2的其它模块通信。本领域技术人员应当明白，尽管图中未示出，可以结合模型生成的电子设备2使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
需要说明的是，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例8
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现前述实施例1-3中任一实施例所述的用于图像中人像的布光方法的步骤。
其中，计算机可读存储介质可以采用的更具体方式可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现前述实施例1-3中任一实施例所述的用于图像中人像的布光方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (24)

1.一种用于图像中人像的布光方法，其特征在于，所述布光方法包括：
获取所述图像中待处理的人像；
识别所述人像中的肤色区域和非肤色区域；
对所述肤色区域和所述非肤色区域进行处理，以平滑人像轮廓突兀点；
根据预设布光类型生成布光模板；
将所述布光模板、处理后的所述人像以及所述图像进行融合，以实现对图像中的所述人像进行布光。
2.如权利要求1所述的用于图像中人像的布光方法，其特征在于，所述获取所述图像中待处理的人像的步骤包括：
按照预设的像素规则从所述图像中分割出所述人像。
3.如权利要求1所述的用于图像中人像的布光方法，其特征在于，所述识别所述人像中的肤色区域和非肤色区域的步骤之前还包括：
识别所述人像中的人脸；
获取所述人脸的三维稠密关键点；
利用所述三维稠密关键点检测所述人脸的平均亮度；
根据所述平均亮度确定补光强度；
根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度；
利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图；
将所述补光光影图与所述人脸进行融合，以实现对所述人像中的人脸补光。
4.如权利要求3所述的用于图像中人像的布光方法，其特征在于，所述获取所述人脸的三维稠密关键点的步骤之前还包括：
获取所述图像中的人脸的数量；
判断所述人脸的数量是否为1；
若数量为1，则计算成像时的真实人脸与摄像设备的距离；
判断所述距离是否不超过预设距离阈值；
若不超过所述预设距离阈值，则执行获取所述人脸的三维稠密关键点的步骤。
5.如权利要求3所述的用于图像中人像的布光方法，其特征在于，
所述利用所述三维稠密关键点检测所述人脸的平均亮度的步骤之前还包括：检测所述人脸的人脸姿态是否满足预设条件，所述人脸姿态包括所述人脸偏离预设水平面的角度、所述人脸偏离预设竖直面的角度、所述人脸在所述预设水平面内的旋转角度的一种或多种；
若所述人脸姿态满足预设条件，则执行利用所述三维稠密关键点检测所述人脸的平均亮度的步骤。
6.如权利要求5所述的用于图像中人像的布光方法，其特征在于，
所述根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度的步骤包括：
根据所述人脸姿态、所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度。
7.如权利要求3所述的用于图像中人像的布光方法，其特征在于，
所述根据所述平均亮度确定补光强度的步骤包括；
根据所述平均亮度以及平均亮度与补光强度的预设对应关系确定补光强度，不同的所述平均亮度分别对应不同的所述补光强度。
8.如权利要求3-7任一项所述的用于图像中人像的布光方法，其特征在于，
所述利用所述三维稠密关键点检测所述人脸的平均亮度的步骤包括：
利用所述三维稠密关键点确定亮度采集区域，所述亮度采集区域位于所述人脸的眼睛和嘴巴之间；
利用所述亮度采集区域中的人脸的亮度计算所述平均亮度。
9.如权利要求8所述的用于图像中人像的布光方法，其特征在于，
所述识别所述人像中的肤色区域和非肤色区域的步骤包括：
统计所述亮度采集区域的肤色高斯分布的均值和标准差；
利用所述均值和标准差识别所述人像中的肤色区域和非肤色区域；
计算所述人像的Y通道纹理信息；
根据所述纹理信息调整识别出的所述人像中的肤色区域和非肤色区域。
10.如权利要求1所述的用于图像中人像的布光方法，其特征在于，
所述对所述肤色区域和所述非肤色区域进行处理，以平滑人像轮廓突兀点的步骤包括：
对所述人像中的非肤色区域进行条件形态学腐蚀处理，以得到第一处理人像；
对所述第一处理人像进行中值滤波处理，以得到第二处理人像；
对所述第二处理人像中的非肤色区域进行条件均值滤波处理，并将条件均值滤波处理后的所述非肤色区域与条件形态学腐蚀处理前的所述人像中的肤色区域进行融合，以得到第三处理人像；
对所述第三处理人像进行双线性插值处理，并对双线性插值处理后的第三处理人像的长和宽均放大至所述条件形态学腐蚀处理前的所述人像的若干倍，以得到第四处理人像；
对所述第四处理人像进行中值滤波处理，并对中值滤波处理后的所述第四处理人像按照预设尺寸进行均值滤波，以得到第五处理人像；
对所述第五处理人像进行双线性插值处理，以得到第六处理人像，所述第六处理人像为所述平滑人像轮廓突兀点后的人像。
11.如权利要求10所述的用于图像中人像的布光方法，其特征在于，若用户选择的所述布光类型为需要生成人像阴影的类型；则根据预设布光类型生成布光模板的步骤之后还包括；
利用第一预设移动参数以及所述第六处理人像生成第七处理人像；
利用所述第七处理人像与所述第六处理人像生成所述人像阴影；
利用第二预设移动参数、所述人像阴影、所述第六处理人像以及所述第七处理人像调整所述布光模板；
所述将所述布光模板、处理后的所述人像以及所述图像进行融合，以实现对图像中的所述人像进行布光的步骤包括：
利用调整后的所述布光模板、所述第六处理人像以及所述图像进行融合，以实现对图像中的所述人像进行布光。
12.一种用于图像中人像的布光系统，其特征在于，所述布光系统包括：
人像获取模块，用于获取所述图像中待处理的人像；
肤色识别模块，用于识别所述人像中的肤色区域和非肤色区域；
人像轮廓处理模块，对所述肤色区域和所述非肤色区域进行处理，以平滑人像轮廓突兀点；
布光模板生成模块，用于根据预设布光类型生成布光模板；
布光融合模块，用于将所述布光模板、处理后的所述人像以及所述图像进行融合，以实现对图像中的所述人像进行布光。
13.如权利要求12所述的用于图像中人像的布光系统，其特征在于，所述人像获取模块用于按照预设的像素规则从所述图像中分割出所述人像。
14.如权利要求12所述的用于图像中人像的布光系统，其特征在于，所述布光系统还包括：
人脸识别模块，用于识别所述人像中的人脸；
关键点获取模块，用于获取所述人脸的三维稠密关键点；
亮度检测模块，用于利用所述三维稠密关键点检测所述人脸的平均亮度；
补光强度确定模块，用于根据所述平均亮度确定补光强度；
光源位置确定模块，用于根据所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度；
光影图生成模块，用于利用所述补光光源对所述三维稠密关键点进行渲染，以得到补光光影图；
补光融合模块，用于将所述补光光影图与所述人脸进行融合，以实现对所述人像中的人脸补光。
15.如权利要求14所述的用于图像中人像的布光系统，其特征在于，所述布光系统还包括：
人脸数量获取模块，用于获取所述图像中的人脸的数量；
判断模块，用于判断所述人脸的数量是否为1；
若数量为1，则调用距离计算模块，所述距离计算模块用于计算成像时的真实人脸与摄像设备的距离；
所述判断模块还用于判断所述距离是否不超过预设距离阈值；
若不超过所述预设距离阈值，则调用所述关键点获取模块。
16.如权利要求15所述的用于图像中人像的布光系统，其特征在于，
所述布光系统还包括姿态检测模块，用于检测所述人脸的人脸姿态是否满足预设条件，所述人脸姿态包括所述人脸偏离预设水平面的角度、所述人脸偏离预设竖直面的角度、所述人脸在所述预设水平面内的旋转角度的一种或多种；
若所述人脸姿态满足预设条件，则调用所述亮度检测模块。
17.如权利要求14所述的用于图像中人像的布光系统，其特征在于，
所述光源位置确定模块用于根据所述人脸姿态、所述补光强度以及预设光效类型确定补光光源相对于人脸正面的距离和角度。
18.如权利要求14所述的用于图像中人像的布光系统，其特征在于，
所述补光强度确定模块用于根据所述平均亮度以及平均亮度与补光强度的预设对应关系确定补光强度，不同的所述平均亮度分别对应不同的所述补光强度。
19.如权利要求14-18任一项所述的用于图像中人像的布光系统，其特征在于，
所述亮度检测模块用于利用所述三维稠密关键点确定亮度采集区域，所述亮度采集区域位于所述人脸的眼睛和嘴巴之间；利用所述亮度采集区域中的人脸的亮度计算所述平均亮度。
20.如权利要求19所述的用于图像中人像的布光系统，其特征在于，
所述肤色识别模块用于统计所述亮度采集区域的肤色高斯分布的均值和标准差；利用所述均值和标准差识别所述人像中的肤色区域和非肤色区域；计算所述人像的Y通道纹理信息；根据所述纹理信息调整识别出的所述人像中的肤色区域和非肤色区域。
21.如权利要求12所述的用于图像中人像的布光系统，其特征在于，
所述人像轮廓处理模块用于对所述人像中的非肤色区域进行条件形态学腐蚀处理，以得到第一处理人像；
对所述第一处理人像进行中值滤波处理，以得到第二处理人像；
对所述第二处理人像中的非肤色区域进行条件均值滤波处理，并将条件均值滤波处理后的所述非肤色区域与条件形态学腐蚀处理前的所述人像中的肤色区域进行融合，以得到第三处理人像；
对所述第三处理人像进行双线性插值处理，并对双线性插值处理后的第三处理人像的长和宽均放大至所述条件形态学腐蚀处理前的所述人像的若干倍，以得到第四处理人像；
对所述第四处理人像进行中值滤波处理，并对中值滤波处理后的所述第四处理人像按照预设尺寸进行均值滤波，以得到第五处理人像；
对所述第五处理人像进行双线性插值处理，以得到第六处理人像，所述第六处理人像为所述平滑人像轮廓突兀点后的人像。
22.如权利要求21所述的用于图像中人像的布光系统，其特征在于，若用户选择的所述布光类型为需要生成人像阴影的类型；所述布光系统还包括布光模板调整模块；
所述布光模板调整模块用于利用第一预设移动参数以及所述第六处理人像生成第七处理人像；
利用所述第七处理人像与所述第六处理人像生成所述人像阴影；
利用第二预设移动参数、所述人像阴影、所述第六处理人像以及所述第七处理人像调整所述布光模板；
所述将所述布光模板、处理后的所述人像以及所述图像进行融合，以实现对图像中的所述人像进行布光的步骤包括：
利用调整后的所述布光模板、所述第六处理人像以及所述图像进行融合，以实现对图像中的所述人像进行布光。
23.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行计算机程序时实现权利要求1-11任一项所述的用于图像中人像的布光方法的步骤。
24.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-11任一项所述的用于图像中人像的布光方法的步骤。
CN202010403277.4A 2020-05-13 2020-05-13 用于图像中人像的布光方法、系统、介质以及电子设备 Active CN111583155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010403277.4A CN111583155B (zh) 2020-05-13 2020-05-13 用于图像中人像的布光方法、系统、介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010403277.4A CN111583155B (zh) 2020-05-13 2020-05-13 用于图像中人像的布光方法、系统、介质以及电子设备

Publications (2)

Publication Number Publication Date
CN111583155A true CN111583155A (zh) 2020-08-25
CN111583155B CN111583155B (zh) 2023-03-24

Family

ID=72122925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010403277.4A Active CN111583155B (zh) 2020-05-13 2020-05-13 用于图像中人像的布光方法、系统、介质以及电子设备

Country Status (1)

Country Link
CN (1) CN111583155B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504383A (zh) * 2015-01-14 2015-04-08 东南大学 一种基于肤色和Adaboost算法的人脸检测方法
CN106600556A (zh) * 2016-12-16 2017-04-26 合网络技术（北京）有限公司 图像处理方法及装置
CN108537155A (zh) * 2018-03-29 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109360176A (zh) * 2018-10-15 2019-02-19 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
US20200126295A1 (en) * 2018-10-22 2020-04-23 The Hong Kong Polytechnic University Method and/or system for reconstructing from images a personalized 3d human body model and thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504383A (zh) * 2015-01-14 2015-04-08 东南大学 一种基于肤色和Adaboost算法的人脸检测方法
CN106600556A (zh) * 2016-12-16 2017-04-26 合网络技术（北京）有限公司 图像处理方法及装置
CN108537155A (zh) * 2018-03-29 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109360176A (zh) * 2018-10-15 2019-02-19 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
US20200126295A1 (en) * 2018-10-22 2020-04-23 The Hong Kong Polytechnic University Method and/or system for reconstructing from images a personalized 3d human body model and thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梁坚等: "基于纹理检测的骨骼影像分割", 《计算机工程与设计》 *

Also Published As

Publication number Publication date
CN111583155B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
US11106938B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
US10630956B2 (en) Image processing method and apparatus
US20210304431A1 (en) Depth-Aware Photo Editing
US8126268B2 (en) Edge-guided morphological closing in segmentation of video sequences
US8565525B2 (en) Edge comparison in segmentation of video sequences
CN109660783B (zh) 虚拟现实视差校正
JP5317206B2 (ja) ３次元モデル取得のための方法及びシステム
US20090028432A1 (en) Segmentation of Video Sequences
JP2009093644A (ja) コンピュータによって実施されるシーン内を移動している物体の３ｄ位置を追跡する方法
CN112672139A (zh) 投影显示方法、装置及计算机可读存储介质
CN113301320B (zh) 图像信息处理方法、装置和电子设备
CN112562056A (zh) 虚拟演播室中虚拟灯光的控制方法、装置、介质与设备
CN111597963B (zh) 用于图像中人脸的补光方法、系统、介质以及电子设备
CN111583155B (zh) 用于图像中人像的布光方法、系统、介质以及电子设备
CN113496506A (zh) 图像处理方法、装置、设备及存储介质
TWI648985B (zh) 視訊成像方法及其電子裝置
CN115514887A (zh) 视频采集的控制方法、装置、计算机设备和存储介质
CN111462294B (zh) 一种图像处理方法、电子设备及计算机可读存储介质
TWM625817U (zh) 具時序平滑性之影像模擬系統
CN113592753A (zh) 基于工业相机拍摄的图像的处理方法、装置和计算机设备
US20230316640A1 (en) Image processing apparatus, image processing method, and storage medium
CN114760422A (zh) 一种逆光检测方法及系统、电子设备及存储介质
CN115002430A (zh) 投影方法、投影仪及计算机可读存储介质
CN117853572A (zh) 投影控制方法、装置、投影设备以及存储介质
CN112381046A (zh) 多任务姿态不变的人脸识别方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant