CN112967201B - 图像光照调节方法、装置、电子设备及存储介质 - Google Patents
图像光照调节方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112967201B CN112967201B CN202110248447.0A CN202110248447A CN112967201B CN 112967201 B CN112967201 B CN 112967201B CN 202110248447 A CN202110248447 A CN 202110248447A CN 112967201 B CN112967201 B CN 112967201B
- Authority
- CN
- China
- Prior art keywords
- image
- illumination
- depth image
- illumination information
- current preview
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 294
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000004364 calculation method Methods 0.000 claims abstract description 46
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims description 49
- 238000001914 filtration Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 11
- 230000007613 environmental effect Effects 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 24
- 238000012545 processing Methods 0.000 abstract description 13
- 230000001105 regulatory effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000005498 polishing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种图像光照调节方法、装置、电子设备及存储介质，涉及图像处理技术领域。该方法包括：计算获取当前预览图像的光照信息；采用预设深度估计算法将当前预览图像转换为深度图像；对深度图像进行光照计算，得到深度图像的环境光照信息；根据深度图像的环境光照信息和当前预览图像的光照信息，获取目标光照结果。通过本申请，可对图像光照进行调节，以提高图像的光照效果。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种图像光照调节方法、装置、电子设备及存储介质。
背景技术
现有的越来越多的电子设备具备了拍照功能，电子设备的拍照功能也越来越好。
为了拍摄出效果很好的图像，电子设备一般会对取景框中的预览图像进行光照处理，以对预览图像进行重打光，以使得电子设备可以在任何光照环境不同的场景下，输出光照效果良好的图像。
现有的电子设备对预览图像进行光照处理一般只对图像中的人脸部分进行重新打光处理，使人脸的光照效果更好，但这种打光方式使得人脸部分的光照效果和图像整体的光照效果不和谐。
发明内容
本发明的目的在于，针对上述现有技术中的不足，提供一种图像光照调节方法、装置、电子设备及存储介质，以便对图像进行光照调节，提高图像的光照效果。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种图像光照调节方法，包括：
计算获取当前预览图像的光照信息；
采用预设深度估计算法将所述当前预览图像转换为深度图像；
对所述深度图像进行光照计算，得到所述深度图像的环境光照信息；
根据所述深度图像的环境光照信息和所述当前预览图像的光照信息，获取目标光照结果。
可选的，所述当前预览图像包括人脸图像；所述计算获取当前预览图像的光照信息，包括：
采用人脸关键点检测和三维人脸重构的算法，生成所述当前预览图像的三维人脸网络；
对所述三维人脸网络进行光照计算，得到所述当前预览图像的人脸光照信息。
可选的，所述对所述深度图像进行光照计算，得到所述深度图像的环境光照信息，包括：
获取所述深度图像中预设光源位置的三维坐标；
采用预设的光源衰减方法、所述预设光源位置的三维坐标，计算获取得到所述深度图像的环境光照信息。
可选的，在所述获取所述深度图像中预设光源位置的三维坐标之前，所述方法还包括：
根据所述深度图像构造内参矩阵；
对所述内参矩阵求逆，得到逆内参矩阵；
根据所述逆内参矩阵，将所述深度图像的二维坐标转换为三维坐标。
可选的，所述构造所述深度图像的内参矩阵，包括：
根据拍摄设备的倾斜因子、所述深度图像的焦距和中心点偏移，构造所述深度图像的内参矩阵。
可选的，所述根据所述深度图像的环境光照信息和所述当前预览图像的光照信息，获取目标光照结果，包括：
将所述深度图像的环境光照信息和所述当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果。
可选的，所述将所述深度图像的环境光照信息和所述当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果之前，所述方法还包括：
对所述深度图像的环境光照信息和所述当前预览图像的光照信息进行滤波，得到滤波后的所述深度图像的环境光照信息和滤波后的所述当前预览图像的光照信息；
所述将所述深度图像的环境光照信息和所述当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果，包括：
将滤波后的所述深度图像的环境光照信息和滤波后的所述当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果。
第二方面，本申请实施例还提供了一种图像光照调节装置，包括：
第一光照信息计算模块，用于计算获取当前预览图像的光照信息；
图像转换模块，用于采用预设深度估计算法将所述当前预览图像转换为深度图像；
第二光照信息计算模块，用于对所述深度图像进行光照计算，得到所述深度图像的环境光照信息；
重打光模块，用于根据所述深度图像的环境光照信息和所述当前预览图像的光照信息，获取目标光照结果。
可选的，所述当前预览图像包括人脸图像；所述第一光照信息计算模块包括：
人脸网络构建单元，用于采用人脸关键点检测和三维人脸重构的算法，生成所述当前预览图像的三维人脸网络；
人脸光照信息计算单元，用于对所述三维人脸网络进行光照计算，得到所述当前预览图像的人脸光照信息。
可选的，所述第二光照信息计算模块包括：
三维坐标计算单元，用于获取所述深度图像中预设光源位置的三维坐标；
环境光照信息计算单元，用于采用预设的光源衰减方法、所述预设光源位置的三维坐标，计算获取得到所述深度图像的环境光照信息。
可选的，在所述三维坐标计算单元之前，所述装置还包括：
内参矩阵构造模块，用于根据所述深度图像构造内参矩阵；
矩阵求逆模块，用于对所述内参矩阵求逆，得到逆内参矩阵；
坐标转换模块，用于根据所述逆内参矩阵，将所述深度图像的二维坐标转换为三维坐标。
可选的，所述内参矩阵构造模块用于根据拍摄设备的倾斜因子、所述深度图像的焦距和中心点偏移，构造所述深度图像的内参矩阵。
可选的，所述重打光模块用于将所述深度图像的环境光照信息和所述当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果。
可选的，在所述重打光模块之前，所述装置还包括：
滤波模块，用于对所述深度图像的环境光照信息和所述当前预览图像的光照信息进行滤波，得到滤波后的所述深度图像的环境光照信息和滤波后的所述当前预览图像的光照信息；
所述重打光模块用于将滤波后的所述深度图像的环境光照信息和滤波后的所述当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行时执行如上述任一所述的图像光照调节方法的步骤。
第四方面，本申请实施例还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述任一所述的图像光照调节方法的步骤。
本申请的有益效果是：
本申请提供的图像光照调节方法、装置、电子设备及存储介质，通过计算获取当前预览图像的光照信息，采用预设深度估计算法将当前预览图像转换为深度图像；对深度图像进行光照计算，得到深度图像的环境光照信息，根据深度图像的环境光照信息和当前预览图像的光照信息，获取目标光照结果。通过本申请提供的方案，可在拍摄取景阶段采用本申请的方法对取景框中的当前预览图像进行图像光照调节处理，以在正式拍摄输出图像时直接输出根据目标光照结果调节后的图像，实现了可直接在取景过程中得到调整过光照效果的图像，无需用户基于拍摄图像进行后期处理，可以更快更方便的得到效果令人满意的图像。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的第一种图像光照调节方法的流程示意图；
图2为本申请实施例提供的第二种图像光照调节方法的流程示意图；
图3为本申请实施例提供的第三种图像光照调节方法的流程示意图；
图4为本申请实施例提供的第四种图像光照调节方法的流程示意图；
图5为本申请实施例提供的一种图像光照调节装置的结构示意图；
图6为本申请实施例提供的电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该申请产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
本申请实施例提供的图像光照调节方法，其执行主体为具有图像光照调节功能的电子设备，该电子设备为具有拍摄图像的功能的设备，如相机、手机、平板电脑等，本申请对此不做限制。
需要说明的是，本申请实施例提供的图像光照调节方法是在电子设备进行拍照取景阶段进行的，当光照调节完毕，电子设备直接执行拍照即可，进而可直接输出经过本申请实施例进行光照调节后的图像。
可选地，执行主体电子设备可以是摄影设备、也可以是具备摄影功能的其他终端，例如手机、穿戴设备、平板电脑等，在此不作限制。
图1为本申请实施例提供的第一种图像光照调节方法的流程示意图；如图1所示，该方法包括：
S100：计算获取当前预览图像的光照信息。
具体的，当前预览图像为电子设备在取景阶段得到的原始图像，原始图像中的光照为自然光照，采用预设的光照计算方法进行计算，以得到当前预览图像的光照信息。
S200：采用预设深度估计算法将当前预览图像转换为深度图像。
具体的，深度图像可反映图像中景物可见表面的几何形状，采用预设深度估计算法，对当前预览图像进行深度预估处理，以得到当前预览图像的深度图像。
S300：对深度图像进行光照计算，得到深度图像的环境光照信息。
具体的，通过预设的打光方式，对深度图像进行打光，得到打光后的深度图像，采用预设的光照计算方法对打光后的深度图像进行光照计算，以获取深度图像中的环境光照信息，环境光照信息可以表示深度图像中景物可见表面的光照信息。
S400：根据深度图像的环境光照信息和当前预览图像的光照信息，获取目标光照结果。
可选地，可以采用预设的光照融合方法，将深度图像中景物可见表面的环境光照信息和当前预览图像中的光照信息进行融合，得到目标光照结果，并采用目标光照效果对当前预览图像进行打光，得到目标图像。
本申请实施例提供的图像光照调节方法，通过计算获取当前预览图像的光照信息，采用预设深度估计算法将当前预览图像转换为深度图像；对深度图像进行光照计算，得到深度图像的环境光照信息，根据深度图像的环境光照信息和当前预览图像的光照信息，获取目标光照结果。通过本申请实施例提供的方法，可在拍摄取景阶段采用本申请的方法对取景框中的当前预览图像进行图像光照调节处理，以在正式拍摄输出图像时直接输出根据目标光照结果调节后的图像，实现了可直接在取景过程中得到调整过光照效果的图像，无需用户基于拍摄图像进行后期处理，可以更快更方便的得到效果令人满意的图像。
在上述实施例的基础上，本申请实施例还提供一种图像光照调节方法，图2为本申请实施例提供的第二种图像光照调节方法的流程示意图，如图2所示，上述S100包括：
S101：采用人脸关键点检测和三维人脸重构的算法，生成当前预览图像的三维人脸网络。
具体的，由于当前预览图像和深度图像中的人脸细节均不够精细，为保证对图像光照进行调节使得图像中人脸的光照效果更佳，可采用人脸关键点检测算法，对当前预览图像中的人脸的关键点进行检测、定位，以得到人脸面部的关键区域位置。其中，人脸面部的关键区域位置可以包括：眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。采用三维人脸重构算法，对人脸关键点检测得到的人脸面部的关键区域位置进行三维人脸重构，得到重构后的三维人脸网络。
S102：对三维人脸网络进行光照计算，得到当前预览图像的人脸光照信息。
具体的，通过人脸关键点检测和三维人脸重构得到的三维人脸网络的人脸细节更加精准，采用预设的人脸光照计算方法，对三维人脸网络中的人脸部分的光照进行计算，得到当前预览图像的人脸光照信息。示例的，通过上述S101得到的三维人脸网络具有法线，根据三维人脸网络中的光线方向和法线方向，对三维人脸网络的光线和法线进行点乘，得到当前预览图像的人脸光照信息。
本申请实施例提供的图像光照调节方法，采用人脸关键点检测和三维人脸重构的算法，生成当前预览图像的三维人脸网络，通过对三维人脸网络进行光照计算，得到当前预览图像的人脸光照信息。通过本申请实施例提供的方法，可通过人脸关键点检测和三维人脸重构的算法，得到当前预览图像中人脸的三维细节，从而根据三维人脸网络计算出更加准确的人脸光照信息，使得采用本申请实施例提供的方法得到的图像的光照效果更好。
在上述任一实施例的基础上，本申请实施例还提供一种图像光照调节方法，图3为本申请实施例提供的第三种图像光照调节方法的流程示意图，如图3所示，上述S300包括：
S301：获取深度图像中预设光源位置的三维坐标。
具体的，预设光源位置是预先设置的深度图像中期望的光源位置，该光源位置为模拟光源的位置，通过该预设光源位置的光源模拟对深度图像进行打光，使得深度图像中的景物光照效果最佳。
可选地，电子设备中可以针对不同拍摄场景、不同拍摄时间、不同拍摄天气等预先设置对应的多种预设光源位置，可根据当前深度图像的拍摄场景、拍摄时间和拍摄天气确定该深度图像的预设光源位置，并确定在深度图像的三维坐标系下该预设光源位置的三维坐标。
S302：采用预设的光源衰减方法、预设光源位置的三维坐标，计算获取得到深度图像的环境光照信息。
具体的，由于不同位置的光照强度会随着距离光源位置的增大而衰减，因此，可根据深度图像中每个像素点的三维坐标，计算预设光源位置的三维坐标到每个像素点的三维坐标的距离d，采用预设的光源衰减方法，计算深度图像中每个像素点的环境光照信息，以得到深度图像的环境光照信息。
示例的，预设的光源衰减方法的计算公式为：
其中，为每个像素点的环境光照信息，为常数衰减因子，为线性衰减因子，为二次性衰减因子。
本申请实施例提供的图像光照调节方法，通过获取深度图像中预设光源位置的三维坐标，采用预设的光源衰减方法和预设光源位置的三维坐标，计算获取得到深度图像的环境光照信息。通过本申请实施例提供的方法，结合光照强度会随着距离光源位置的增长而衰减的性质，计算深度图像上每个像素点的环境光照信息，使得通过该预设的光源衰减方法得到的环境光照信息更加自然，使得采用本申请实施例提供的方法得到的图像的光照效果更好。
在上述实施例的基础上，本申请实施例还提供一种图像光照调节方法，图4为本申请实施例提供的第四种图像光照调节方法的流程示意图，如图4所示，在上述S301之前，该方法还可包括：
S303：根据深度图像构造内参矩阵。
具体的，内参矩阵用于将三维相机坐标变换为二维齐次坐标，根据拍摄设备的参数和深度图像的参数构造深度图像的内参矩阵。
在一种可选实施方式中，根据拍摄设备的倾斜因子、深度图像的焦距和中心点偏移，构造深度图像的内参矩阵。
内参矩阵可以表示为，其中，和为焦距参数，和为中心点偏移参数，s为相机的倾斜因子；由于深度图像是采用预设深度估计算法将当前预览图像进行转换得到的，因此，使用深度图像的图像最大边和作为焦距，使用深度图像的图像中心点和作为中心点偏移，得到深度图像的内参矩阵。
S304：对内参矩阵求逆，得到逆内参矩阵。
具体的，构造得到的深度图像的内参矩阵用于将三维相机坐标转换为二维齐次坐标，但由于深度图像是采用预设深度估计算法对当前预览图像进行深度预估处理得到的，该深度图像的三维坐标为预估的三维坐标，为得到深度图像准确的三维坐标，可对深度图像的二维坐标进行转换，以得到深度图像的三维坐标，因此可以利用内参矩阵，对内参矩阵K求逆，得到逆内参矩阵K’。
S305：根据逆内参矩阵，将深度图像的二维坐标转换为三维坐标。
具体的，通过上述S304逆内参矩阵后，可将深度图像的各像素点的二维坐标通过该逆内参矩阵转换为三维坐标，以便根据各像素点的三维坐标和预设光源位置的三维坐标计算各像素点与预设光源位置的距离。
本申请实施例提供的图像光照调节方法，通过构造深度图像的内参矩阵，并对内参矩阵求逆，得到逆内参矩阵，根据逆内参矩阵将深度图像的二维坐标转换为三维坐标，以便根据各像素点的三维坐标和预设光源位置的三维坐标计算各像素点与预设光源位置的距离。通过本申请实施例提供的方法，通过构造内参矩阵和逆内参矩阵，以得到深度图像的三维坐标，便于根据三维坐标计算各像素点与预设光源的距离，使得通过预设的光源衰减方法得到的环境光照信息更加自然，使得采用本申请实施例提供的方法得到的图像的光照效果更好。
在上述实施例的基础上，本申请实施例还提供一种图像光照调节方法，其中上述S400包括：
将深度图像的环境光照信息和当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果。
具体的，预设的光照融合方法可将深度图像中景物可见表面的环境光照信息和三维人脸网络中的人脸光照信息进行融合，本申请实施例采用的光照融合方法为预设叠加算法，将深度图像中的环境光照信息和当前预览图像的光照信息进行叠加，得到叠加后的目标光照结果，采用目标光照效果对当前预览图像进行打光，得到目标图像。
示例的，预设叠加算法可以为：，其中，为目标光照效果，为当前预览图像的光照信息，为深度图像的环境光照信息。
本申请实施例提供的图像光照调节方法，通过将深度图像的环境光照信息和当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果。通过本申请实施例提供的方法，可在拍摄阶段采用本申请的方法对取景框中的当前预览图像进行图像光照调节处理，以在输出图像时直接输出具有目标光照结果的图像，可直接在拍摄过程中得到调整过光照效果的图像，无需用户基于拍摄图像进行后期处理，可以更快更方便的得到效果令人满意的图像。
在上述实施例的基础上本申请实施例还提供一种图像光照调节方法，在上述将深度图像的环境光照信息和当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果之前，该方法还可包括：
对深度图像的环境光照信息和当前预览图像的光照信息进行滤波，得到滤波后的深度图像的环境光照信息和滤波后的当前预览图像的光照信息。
具体的，由于直接将三维人脸网络中的人脸光照信息和深度图像中的环境光照信息进行叠加得到的目标光照结果的光照过度不自然，因此在进行光照信息叠加之前，可采用预设滤波方法对深度图像的环境光照信息和当前预览图像的光照信息进行滤波，在保留深度图像的环境光照信息和当前预览图像的光照信息的前提下，过滤掉光照信息中的噪声，得到滤波后的深度图像的环境光照信息和滤波后的当前预览图像的光照信息。
示例的，预设滤波方法可以为均值滤波。
将深度图像的环境光照信息和当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果，包括：
将滤波后的深度图像的环境光照信息和滤波后的当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果。
本申请实施例提供的图像光照调节方法，通过对深度图像的环境光照信息和当前预览图像的光照信息进行滤波，得到滤波后的深度图像的环境光照信息和滤波后的当前预览图像的光照信息，将滤波后的深度图像的环境光照信息和滤波后的当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果。通过本申请实施例提供的方法，可在保留深度图像的环境光照信息和当前预览图像的光照信息的前提下，过滤掉光照信息中的噪声，得到滤波后的深度图像的环境光照信息和滤波后的当前预览图像的光照信息，使得采用本申请实施例提供的方法得到的图像的光照效果更好。
在上述任一实施例的基础上，本申请实施例还提供一种图像光照调节装置，图5为本申请实施例提供的一种图像光照调节装置的结构示意图，如图5所示，该装置可包括：
第一光照信息计算模块100，用于计算获取当前预览图像的光照信息；
图像转换模块200，用于采用预设深度估计算法将当前预览图像转换为深度图像；
第二光照信息计算模块300，用于对深度图像进行光照计算，得到深度图像的环境光照信息；
重打光模块400，用于根据深度图像的环境光照信息和当前预览图像的光照信息，获取目标光照结果。
可选的，当前预览图像包括人脸图像；第一光照信息计算模块100包括：
人脸网络构建单元，用于采用人脸关键点检测和三维人脸重构的算法，生成当前预览图像的三维人脸网络；
人脸光照信息计算单元，用于对三维人脸网络进行光照计算，得到当前预览图像的人脸光照信息。
可选的，第二光照信息计算模块300包括：
三维坐标计算单元，用于获取深度图像中预设光源位置的三维坐标；
环境光照信息计算单元，用于采用预设的光源衰减方法、预设光源位置的三维坐标，计算获取得到深度图像的环境光照信息。
可选的，在三维坐标计算单元之前，该装置还可包括：
内参矩阵构造模块，用于根据深度图像构造内参矩阵；
矩阵求逆模块，用于对内参矩阵求逆，得到逆内参矩阵；
坐标转换模块，用于根据逆内参矩阵，将深度图像的二维坐标转换为三维坐标。
可选的，内参矩阵构造模块用于根据拍摄设备的倾斜因子、深度图像的焦距和中心点偏移，构造深度图像的内参矩阵。
可选的，重打光模块400用于将深度图像的环境光照信息和当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果。
可选的，在重打光模块400之前，该装置还包括：
滤波模块，用于对深度图像的环境光照信息和当前预览图像的光照信息进行滤波，得到滤波后的深度图像的环境光照信息和滤波后的当前预览图像的光照信息；
重打光模块400用于将滤波后的深度图像的环境光照信息和滤波后的当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路（Application Specific Integrated Circuit，简称ASIC），或，一个或多个微处理器（digital singnal processor，简称DSP），或，一个或者多个现场可编程门阵列（Field Programmable Gate Array，简称FPGA）等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器（CentralProcessing Unit，简称CPU）或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统（system-on-a-chip，简称SOC）的形式实现。
图6为本申请实施例提供的电子设备的示意图，该电子设备500包括：处理器501、存储介质502和总线，存储介质502存储有处理器501可执行的程序指令，当电子设备500运行时，处理器501与存储介质502之间通过总线通信，处理器501执行程序指令，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。
可选地，本发明还提供一种存储介质，例如计算机可读存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述方法实施例。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（英文：processor）执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文：Read-Only Memory，简称：ROM）、随机存取存储器（英文：Random Access Memory，简称：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种图像光照调节方法，其特征在于，包括：
计算获取当前预览图像的光照信息；
采用预设深度估计算法将所述当前预览图像转换为深度图像；
对所述深度图像进行光照计算，得到所述深度图像的环境光照信息；
根据所述深度图像的环境光照信息和所述当前预览图像的光照信息，获取目标光照结果；
所述根据所述深度图像的环境光照信息和所述当前预览图像的光照信息，获取目标光照结果，包括：
将所述深度图像的环境光照信息和所述当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果；
所述当前预览图像包括人脸图像；所述计算获取当前预览图像的光照信息，包括：
采用人脸关键点检测和三维人脸重构的算法，生成所述当前预览图像的三维人脸网络；
对所述三维人脸网络进行光照计算，得到所述当前预览图像的人脸光照信息。
2.如权利要求1所述的方法，其特征在于，所述对所述深度图像进行光照计算，得到所述深度图像的环境光照信息，包括：
获取所述深度图像中预设光源位置的三维坐标；
采用预设的光源衰减方法、所述预设光源位置的三维坐标，计算获取得到所述深度图像的环境光照信息；
所述采用预设的光源衰减方法、所述预设光源位置的三维坐标，计算获取得到所述深度图像的环境光照信息，包括：
根据所述预设光源位置的三维坐标和所述深度图像中每个像素点的三维坐标的距离，采用所述光源衰减方法，计算所述深度图像中每个像素点的环境光照信息，所述深度图像的环境光照信息包括：所述深度图像中每个像素点的环境光照信息。
3.如权利要求2所述的方法，其特征在于，在所述获取所述深度图像中预设光源位置的三维坐标之前，所述方法还包括：
根据所述深度图像构造内参矩阵；
对所述内参矩阵求逆，得到逆内参矩阵；
根据所述逆内参矩阵，将所述深度图像的二维坐标转换为三维坐标。
4.如权利要求3所述的方法，其特征在于，所述构造所述深度图像的内参矩阵，包括：
根据拍摄设备的倾斜因子、所述深度图像的焦距和中心点偏移，构造所述深度图像的内参矩阵。
5.如权利要求1所述的方法，其特征在于，所述将所述深度图像的环境光照信息和所述当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果之前，所述方法还包括：
对所述深度图像的环境光照信息和所述当前预览图像的光照信息进行滤波，得到滤波后的所述深度图像的环境光照信息和滤波后的所述当前预览图像的光照信息；
所述将所述深度图像的环境光照信息和所述当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果，包括：
将滤波后的所述深度图像的环境光照信息和滤波后的所述当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果。
6.一种图像光照调节装置，其特征在于，包括：
第一光照信息计算模块，用于计算获取当前预览图像的光照信息；
图像转换模块，用于采用预设深度估计算法将所述当前预览图像转换为深度图像；
第二光照信息计算模块，用于对所述深度图像进行光照计算，得到所述深度图像的环境光照信息；
重打光模块，用于根据所述深度图像的环境光照信息和所述当前预览图像的光照信息，获取目标光照结果；
所述重打光模块，具体用于将所述深度图像的环境光照信息和所述当前预览图像的光照信息，按照预设叠加算法进行叠加，获取目标光照结果；
所述当前预览图像包括人脸图像；所述第一光照信息计算模块包括：
人脸网络构建单元，用于采用人脸关键点检测和三维人脸重构的算法，生成所述当前预览图像的三维人脸网络；
人脸光照信息计算单元，用于对所述三维人脸网络进行光照计算，得到所述当前预览图像的人脸光照信息。
7.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行时执行如权利要求1至5任一所述的图像光照调节方法的步骤。
8.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至5任一所述的图像光照调节方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110248447.0A CN112967201B (zh) | 2021-03-05 | 2021-03-05 | 图像光照调节方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110248447.0A CN112967201B (zh) | 2021-03-05 | 2021-03-05 | 图像光照调节方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112967201A CN112967201A (zh) | 2021-06-15 |
| CN112967201B true CN112967201B (zh) | 2024-06-25 |
Family
ID=76276724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110248447.0A Active CN112967201B (zh) | 2021-03-05 | 2021-03-05 | 图像光照调节方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112967201B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115293960B (zh) * | 2022-07-28 | 2023-09-29 | 珠海视熙科技有限公司 | 融合图像的光照调节方法、装置、设备及介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109523617A (zh) * | 2018-10-15 | 2019-03-26 | 中山大学 | 一种基于单目摄像机的光照估计方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105825544B (zh) * | 2015-11-25 | 2019-08-20 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN106973227A (zh) * | 2017-03-31 | 2017-07-21 | 努比亚技术有限公司 | 基于双摄像头的智能拍照方法及装置 |
| CN107124548A (zh) * | 2017-04-25 | 2017-09-01 | 深圳市金立通信设备有限公司 | 一种拍照方法及终端 |
| CN107682608B (zh) * | 2017-10-27 | 2021-03-16 | Oppo广东移动通信有限公司 | 应用于移动终端的成像方法、装置和移动终端 |
| CN108540716A (zh) * | 2018-03-29 | 2018-09-14 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109325905B (zh) * | 2018-08-29 | 2023-10-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
| CN110086993B (zh) * | 2019-04-30 | 2021-09-07 | 努比亚技术有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
| CN114730483A (zh) * | 2019-08-28 | 2022-07-08 | 斯纳普公司 | 在消息传送系统中生成3d数据 |
| CN111556255B (zh) * | 2020-04-30 | 2021-10-01 | 华为技术有限公司 | 图像生成方法及装置 |
| CN111741214A (zh) * | 2020-05-13 | 2020-10-02 | 北京迈格威科技有限公司 | 图像处理方法、装置及电子设备 |
| CN112165575B (zh) * | 2020-09-25 | 2022-03-18 | Oppo（重庆）智能科技有限公司 | 图像虚化处理方法及装置、存储介质和电子设备 |
| CN112233220B (zh) * | 2020-10-15 | 2023-12-15 | 洛阳众智软件科技股份有限公司 | 基于OpenSceneGraph的体积光生成方法、装置、设备和存储介质 |
-
2021
- 2021-03-05 CN CN202110248447.0A patent/CN112967201B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109523617A (zh) * | 2018-10-15 | 2019-03-26 | 中山大学 | 一种基于单目摄像机的光照估计方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112967201A (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Nerfactor: Neural factorization of shape and reflectance under an unknown illumination | |
| CN111060023B (zh) | 一种高精度3d信息采集的设备及方法 | |
| CN111023970B (zh) | 多模式三维扫描方法及系统 | |
| WO2021077720A1 (zh) | 获取对象三维模型的方法、装置、电子设备及系统 | |
| CN111787242B (zh) | 用于虚拟试衣的方法和装置 | |
| US20190364265A1 (en) | Free-viewpoint video generating method and free-viewpoint video generating system | |
| CN112470497B (zh) | 经由光学捕获的个性化hrtfs | |
| CN113610889B (zh) | 一种人体三维模型获取方法、装置、智能终端及存储介质 | |
| JP4284664B2 (ja) | 三次元形状推定システム及び画像生成システム | |
| CN108447017A (zh) | 人脸虚拟整容方法和装置 | |
| US20170278293A1 (en) | Processing a Texture Atlas Using Manifold Neighbors | |
| JP2011100497A (ja) | 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム | |
| CN110599593B (zh) | 数据合成的方法、装置、设备及存储介质 | |
| US8670606B2 (en) | System and method for calculating an optimization for a facial reconstruction based on photometric and surface consistency | |
| WO2012007795A1 (en) | Three dimensional face modeling and sharing based on two dimensional images | |
| CN111652933B (zh) | 基于单目相机的重定位方法、装置、存储介质与电子设备 | |
| WO2021098143A1 (zh) | 图像处理方法及装置、图像处理设备及存储介质 | |
| CN110035236A (zh) | 图像处理方法、装置和电子设备 | |
| KR101593316B1 (ko) | 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치 | |
| CN112967201B (zh) | 图像光照调节方法、装置、电子设备及存储介质 | |
| CN113096249A (zh) | 训练顶点重建模型的方法、图像重建方法及电子设备 | |
| CN114004935A (zh) | 通过三维建模系统进行三维建模的方法和装置 | |
| CN109446945A (zh) | 三维模型处理方法和装置、电子设备、计算机可读存储介质 | |
| CN117152393A (zh) | 一种增强现实的呈现方法、系统、装置、设备及介质 | |
| CN115908120B (zh) | 图像处理方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |