CN115914853B - 一种图像补光方法及电子设备 - Google Patents

一种图像补光方法及电子设备 Download PDF

Info

Publication number
CN115914853B
CN115914853B CN202111113526.7A CN202111113526A CN115914853B CN 115914853 B CN115914853 B CN 115914853B CN 202111113526 A CN202111113526 A CN 202111113526A CN 115914853 B CN115914853 B CN 115914853B
Authority
CN
China
Prior art keywords
image
light
illumination
processed
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111113526.7A
Other languages
English (en)
Other versions
CN115914853A (zh
Inventor
李宗原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202111113526.7A priority Critical patent/CN115914853B/zh
Priority to EP22869123.4A priority patent/EP4270975A4/en
Priority to PCT/CN2022/117957 priority patent/WO2023040754A1/zh
Priority to US18/264,855 priority patent/US20240314450A1/en
Publication of CN115914853A publication Critical patent/CN115914853A/zh
Application granted granted Critical
Publication of CN115914853B publication Critical patent/CN115914853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

一种图像补光方法及电子设备。在该方法中，电子设备不通过外部设备的补光，而是先获取待处理图像，该待处理图像中的第一用户的人脸的一侧光照不足，导致该侧偏暗。然后从该待处理图像中获取第一图像，该第一图像为待处理图像中包括第一用户的人脸的那部分图像，然后计算该第一图像的反照率图像以及光照图像，利用该反照率图像以及光照图像对该第一图像进行补光，得到补光后的第一图像。该补光后的第一图像中，第一用户的人脸两侧都是清晰没有偏暗的，更加契合人眼的审美。然后电子设备利用补光后的第一图像替换待处理图像中的第一图像。

Description

一种图像补光方法及电子设备
技术领域
本申请涉及终端及人工智能领域，尤其涉及一种图像补光方法及电子设备。
背景技术
随着信息时代的快速发展，手机等电子设备的拍摄功能逐渐完善，越来越多的用户喜欢利用电子设备拍摄图像。摄影是光与影的艺术，如果想要拍摄一张高质量的图像，合理的光照对于被拍摄对象的成像是必不可少。但是，很多场景下，被拍摄对象表面的光照是不均匀的，例如，在强烈的日光下侧逆光时拍摄被拍摄对象时，由于被拍摄对象一面有光照一面没有，会使得电子设备拍摄的图像中，被拍摄对象一面质量正常，一面由于没有合理的光照导致发暗等影响质量的问题。
为了解决上述问题，电子设备拍摄图像时，用户可以利用人造光源对被拍摄对象上没有光照或者光照不足的地方进行补光，使得这个被拍摄对象的表面都有合理的光照。这时，电子设备再进行拍摄时，即可减少因为光照对拍摄效果的不良影响。
但是，电子设备在拍摄图像时，对于大部分用户来说，利用这样的外部设备进行补光是比较困难的，因为不仅需要专业的外部设备也需要专业的补光技巧。因此，利用电子设备的计算能力，对图像中的部分或全部被拍摄对象进行补光，提高图像质量。
发明内容
本申请提供了一种图像补光方法及电子设备，在拍摄时，电子设备不通过外部设备的补光，也可以实现图像补光，调整图像中的阴影区域。
第一方面，本申请提供了一种图像补光方法，应用于包括摄像头的电子设备，所述方法包括：显示第一界面，所述第一界面包括第一控件；检测到对所述第一控件的第一操作；响应于所述第一操作，所述摄像头采集待处理图像，所述待处理图像包括第一目标对象，所述第一目标对象处于第一环境光；基于第一区域图像得到第一环境光参数，所述第一区域图像为所述待处理图像中的第一目标对象的图像；确定所述待处理图像中所述第一目标对象的姿态参数，所述姿态参数用于标识所述第一目标对象的姿态信息；基于所述第一环境光参数和所述姿态参数确定第二环境光参数；基于法向量图和所述第二环境光参数得到光照图像，其中所述法向量图是基于所述待处理图像的法向特征得到的图像；基于所述光照图像和反照率图得到补光图像，其中，所述反照率图是基于待处理图像的反照率特征得到的图像。
上述实施例中，对于需要补光的待处理图像，电子设备可以利用该待处理图像的光照图像指示该待处理图像在补光后的光照下任一像素点对应的光照强度，并且利用该待处理图像的反照率图指示该待处理图像在补光后的光照下任一像素点对应的对光照的吸收强度。然后，基于该光照图像以及反照率图像得到补光后的待处理图像，相当于还原了拍摄场景，然后优化拍摄场景的光照，重新对该待处理图像中进行补光，提高电子设备所获取的图像质量。
结合第一方面，在一种实施方式中，基于法向量图和所述第二环境光参数得到光照图像，其中所述法向量图是基于所述待处理图像的法向特征得到的图像，具体包括：基于法向量图和所述第二环境光参数得到光照图像，其中所述法向量图是基于所述第一区域图像的法向特征得到的图像；基于所述光照图像和反照率图得到补光图像，其中，所述反照率图是基于待处理图像的反照率特征得到的图像，具体包括：基于所述光照图像和反照率图得到补光图像，其中，所述反照率图是基于第一区域图像的反照率特征得到的图像；基于所述光照图像和反照率图得到补光图像之后，所述方法还包括：利用所述补光图像替换所述待处理图像中的第一区域图像。
在上述实施例中，对于需要补光的待处理图像，电子设备可以针对性的对其中的一个区域对应的图像进行补光，然后，利用该补光后的区域对应的图像去替换待处理图像中的该区域对应的图像得到补光后的待处理图像，可以使得该方案更加具有针对性，例如，可以对人脸进行补光。同时，处理一个区域对应的图像从而得到补光后的待处理图像也可以节约计算资源。
结合第一方面，在一种实施方式中，在所述反照率图是基于待处理图像的反照率特征得到的图像的情况下，所述反照率图用于描述所述待处理图像中任一像素对红色、绿色以及蓝色三个颜色通道上的光强度的接收程度；所述光照图像用于描述在第二环境光下，所述待处理图像中任一像素在红色、绿色以及蓝色三个颜色通道上的光强度；在所述反照率图是基于第一区域图像的反照率特征得到的图像的情况下，所述反照率图用于描述所述第一区域图像中任一像素对红色、绿色以及蓝色三个颜色通道上的光强度的接收程度；所述光照图像用于描述在第二环境光下，所述第一区域图像中任一像素在红色、绿色以及蓝色三个颜色通道上的光强度。
在上述实施例中，电子设备可以利用该待处理图像的光照图像指示该待处理图像在补光后的光照下任一像素点对应的光照强度，并且利用该待处理图像的反照率图指示该待处理图像在补光后的光照下任一像素点对应的对光照的吸收强度。然后，基于该光照图像以及反照率图像得到补光后的待处理图像，相当于还原了拍摄场景。使得得到的补光图像更加契合物理含义。
结合第一方面，在一种实施方式中，所述第一目标对象为第一用户的人像。
在上述实施例中，电子设备可以对针对性的对待处理图像中的人像进行补光。
结合第一方面，在一种实施方式中，所述第一环境光参数为第一球谐光照，所述第二环境光参数为第二球谐光照，基于所述第一环境光参数和所述姿态参数确定第二环境光参数，具体包括：所述电子设备确定所述第一环境光的第一球谐光照；所述第一球谐光照用于表示所述第一环境光的信息，所述信息包括第一环境光的光强度及方向，以及，在第一环境光下，第一目标对象周围任一点的光强度与方向；根据所述第一目标对象的姿态参数，确定第一目标对象的方向，所述第一目标对象的姿态参数包括所述第一目标对象在相机坐标系中的俯仰角、偏航角以及翻滚角等姿态信息中的至少一个，所述第一目标对象的方向用于描述第一目标对象的朝向；根据所述第一球谐光照，结合所述第一目标对象的方向，得到补光的光强度及方向；根据所述补光的光强度及方向对所述第一球谐光照进行调整，得到第二球谐光照；所述第二球谐光照用于表示第二环境光的信息，所述信息包括第二环境光的光强度以及方向，以及，在第二环境光下，第一目标对象周围任一点的光强度与方向。
在上述实施例中，利用球谐光照指示环境光照可以简化计算的过程，使得求得的环境光更加准确，可以优化电子设备得到补光后的待处理图像的效果。
结合第一方面，在一种实施方式中，根据所述第一球谐光照，结合所述第一目标对象的方向，得到补光的光强度及方向，具体包括：根据所述第一球谐光照，确定所述第一环境光的光强度及方向；将第一目标对象的方向与第一方向形成的平面作为第一平面；所述第一方向为绕相机坐标系Z轴旋转与所述翻滚角相同的角度，且平行于所述翻滚角的始边或终边中的一条的方向；结合所述第一环境光的方向、第一目标对象的方向以及第一平面，确定满足第一预设条件的方向为补光的方向；确定第一环境光的光强度的0.25倍为补光的光强度。
在上述实施例中，结合第一球谐光照确定补光前的环境光的光强度和方向，基于该补光前的环境光的方向以及补光对象的方向确定补光的方向，基于该补光前的环境光的强度确定补光的强度可以使得求得的补光的可用性更强，更有可能得到更契合用户审美的补光后的待处理图像。
结合第一方面，在一种实施方式中，所述第一预设条件为：所述补光的方向在第一平面上的投影为第一投影，所述第一投影与第二投影重合；所述第二投影为所述第一环境光的方向在所述第一平面上的投影；且所述补光的方向与所述第二投影的夹角为第一夹角，所述第一夹角为第二夹角的0.8-2倍大小；所述第二夹角为所述第一环境光的方向与所述第二投影的夹角；且所述补光的方向处于第一平面的一侧但是所述第一环境光的方向处于第一平面的另一侧。
在上述实施例中，电子设备此时采取的补光原则为正补光，正补光可以用于填充第一环境光在主体(例如人脸或人像)上造成的阴影区域，使得阴影区域可以变亮。一般补光的光强度会比第一环境光的光强度更低，这样做的目的是在不产生额外阴影的前提下，让位于阴影处的主体更加凸显。
结合第一方面，在一种实施方式中，补光包括第一补光以及第二补光，则所述补光的方向包括第一补光的方向及第二补光的方向，所述第一预设条件为：所述第一补光处于所述第一平面的一侧但是所述第二补光处于所述第一平面的另一侧；且所述第一补光在所述第一平面的投影为第三投影，所述第二补光在所述第一平面的投影为第四投影，所述第三投影与所述第四投影重合；且所述第三投影及所述第四投影与第一人像的方向的夹角为10°-20°；且所述第一补光与第一投影的夹角以及所述第二补光与第四投影的夹角为40°-50°。
在上述实施例中，电子设备此时采取的补光原则为伦勃朗光，此时补光往往被放置于主体的左、右前方45°左右，距离较远，略高于人像视线。这样做的目的是为脸部创造更多明暗对比度和深度，同时明暗过渡柔和。
结合第一方面，在一种实施方式中，补光包括第一补光以及第二补光，则所述补光的方向包括第一补光的方向及第二补光的方向，所述第一预设条件为：所述第一补光处于所述第一平面的一侧但是所述第二补光处于所述第一平面的另一侧；且所述第一补光在所述第一平面的投影为第三投影，所述第二补光在所述第一平面的投影为第四投影，所述第三投影与所述第四投影重合；且所述第三投影及第四投影与球心G重合；且所述第一补光的方向以及第二补光的方向与第一人像的方向的夹角为90°。
在上述实施例中，电子设备此时采取的补光原则为分割光，此时，补光往往被放置于主体的正左、右侧，距离适中，平行于人像视线。这样做的目的是为脸部创造强烈、戏剧性的明暗对比，明暗过渡锐利，暗侧完全处于阴影中。
结合第一方面，在一种实施方式中，根据所述第一球谐光照，结合所述第一目标对象的方向，得到补光的光强度及方向，具体包括：根据所述第一球谐光照，确定所述第一环境光的光强度及方向；将第一人像的方向与第一环境光的方向形成的平面作为第二平面；确定第二平面中，与所述第一环境光的方向的夹角为0°-10°的方向为补光的方向；确定第一环境光的光强度的0.25倍为补光的光强度。
在上述实施例中，电子设备此时采取的补光原则为负补光，此时，补光往往用于增强非阴影区域的光线。这样做的目的是增强主体的明暗对比度。
结合第一方面，在一种实施方式中，根据所述第一球谐光照，结合所述第一目标对象的方向，得到补光的光强度及方向，具体包括：根据所述第一球谐光照，确定所述第一环境光的光强度；确定第一环境光的光强度的0.25倍为补光的光强度；确定第一人像的方向为补光的方向。
在上述实施例中，电子设备此时采取的补光原则为轮廓光，此时，补光往往被放置于主体的背后，例如，在主体是人像的情况下，该补光投射于人像的头部、肩部位置，同时也要避免人像正面过于昏暗。这样做的目的是凸显人像主体，营造整体层次感。
第二方面，本申请提供了一种电子设备，该电子设备包括：一个或多个处理器和存储器；该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该电子设备执行：显示第一界面，所述第一界面包括第一控件；检测到对所述第一控件的第一操作；响应于所述第一操作，所述摄像头采集待处理图像，所述待处理图像包括第一目标对象，所述第一目标对象处于第一环境光；基于第一区域图像得到第一环境光参数，所述第一区域图像为所述待处理图像中的第一目标对象的图像；确定所述待处理图像中所述第一目标对象的姿态参数，所述姿态参数用于标识所述第一目标对象的姿态信息；基于所述第一环境光参数和所述姿态参数确定第二环境光参数；基于法向量图和所述第二环境光参数得到光照图像，其中所述法向量图是基于所述待处理图像的法向特征得到的图像；基于所述光照图像和反照率图得到补光图像，其中，所述反照率图是基于待处理图像的反照率特征得到的图像。
上述实施例中，对于需要补光的待处理图像，电子设备可以利用该待处理图像的光照图像指示该待处理图像在补光后的光照下任一像素点对应的光照强度，并且利用该待处理图像的反照率图指示该待处理图像在补光后的光照下任一像素点对应的对光照的吸收强度。然后，基于该光照图像以及反照率图像得到补光后的待处理图像，相当于还原了拍摄场景，然后优化拍摄场景的光照，重新对该待处理图像中进行补光，提高电子设备所获取的图像质量。
结合第二方面，在一种实施方式中，该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行：基于法向量图和所述第二环境光参数得到光照图像，其中所述法向量图是基于所述第一区域图像的法向特征得到的图像；基于所述光照图像和反照率图得到补光图像，其中，所述反照率图是基于第一区域图像的反照率特征得到的图像；该一个或多个处理器还用于调用该计算机指令以使得该电子设备执行：利用所述补光图像替换所述待处理图像中的第一区域图像。
在上述实施例中，对于需要补光的待处理图像，电子设备可以针对性的对其中的一个区域对应的图像进行补光，然后，利用该补光后的区域对应的图像去替换待处理图像中的该区域对应的图像得到补光后的待处理图像，可以使得该方案更加具有针对性，例如，可以对人脸进行补光。同时，处理一个区域对应的图像从而得到补光后的待处理图像也可以节约计算资源。
结合第二方面，在一种实施方式中，该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行：所述电子设备确定所述第一环境光的第一球谐光照；所述第一球谐光照用于表示所述第一环境光的信息，所述信息包括第一环境光的光强度及方向，以及，在第一环境光下，第一目标对象周围任一点的光强度与方向；根据所述第一目标对象的姿态参数，确定第一目标对象的方向，所述第一目标对象的姿态参数包括所述第一目标对象在相机坐标系中的俯仰角、偏航角以及翻滚角等姿态信息中的至少一个，所述第一目标对象的方向用于描述第一目标对象的朝向；根据所述第一球谐光照，结合所述第一目标对象的方向，得到补光的光强度及方向；根据所述补光的光强度及方向对所述第一球谐光照进行调整，得到第二球谐光照；所述第二球谐光照用于表示第二环境光的信息，所述信息包括第二环境光的光强度以及方向，以及，在第二环境光下，第一目标对象周围任一点的光强度与方向。
在上述实施例中，利用球谐光照指示环境光照可以简化计算的过程，使得求得的环境光更加准确，可以优化电子设备得到补光后的待处理图像的效果。
结合第二方面，在一种实施方式中，该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行：根据所述第一球谐光照，确定所述第一环境光的光强度及方向；将第一目标对象的方向与第一方向形成的平面作为第一平面；所述第一方向为绕相机坐标系Z轴旋转与所述翻滚角相同的角度，且平行于所述翻滚角的始边或终边中的一条的方向；结合所述第一环境光的方向、第一目标对象的方向以及第一平面，确定满足第一预设条件的方向为补光的方向；确定第一环境光的光强度的0.25倍为补光的光强度。
在上述实施例中，结合第一球谐光照确定补光前的环境光的光强度和方向，基于该补光前的环境光的方向以及补光对象的方向确定补光的方向，基于该补光前的环境光的强度确定补光的强度可以使得求得的补光的可用性更强，更有可能得到更契合用户审美的补光后的待处理图像。
结合第二方面，在一种实施方式中，该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行：根据所述第一球谐光照，确定所述第一环境光的光强度及方向；将第一人像的方向与第一环境光的方向形成的平面作为第二平面；确定第二平面中，与所述第一环境光的方向的夹角为0°-10°的方向为补光的方向；确定第一环境光的光强度的0.25倍为补光的光强度。
在上述实施例中，电子设备此时采取的补光原则为负补光，此时，补光往往用于增强非阴影区域的光线。这样做的目的是增强主体的明暗对比度。
结合第二方面，在一种实施方式中，该一个或多个处理器具体用于调用该计算机指令以使得该电子设备执行：根据所述第一球谐光照，确定所述第一环境光的光强度；确定第一环境光的光强度的0.25倍为补光的光强度；确定第一人像的方向为补光的方向。
在上述实施例中，电子设备此时采取的补光原则为轮廓光，此时，补光往往被放置于主体的背后，例如，在主体是人像的情况下，该补光投射于人像的头部、肩部位置，同时也要避免人像正面过于昏暗。这样做的目的是凸显人像主体，营造整体层次感。
第三方面，本申请提供了一种电子设备，该电子设备包括：一个或多个处理器和存储器；该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
上述实施例中，对于需要补光的待处理图像，电子设备可以利用该待处理图像的光照图像指示该待处理图像在补光后的光照下任一像素点对应的光照强度，并且利用该待处理图像的反照率图指示该待处理图像在补光后的光照下任一像素点对应的对光照的吸收强度。然后，基于该光照图像以及反照率图像得到补光后的待处理图像，相当于还原了拍摄场景，然后优化拍摄场景的光照，重新对该待处理图像中进行补光，提高电子设备所获取的图像质量。
第四方面，本申请实施例提供了一种芯片系统，该芯片系统应用于电子设备，该芯片系统包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
上述实施例中，对于需要补光的待处理图像，电子设备可以利用该待处理图像的光照图像指示该待处理图像在补光后的光照下任一像素点对应的光照强度，并且利用该待处理图像的反照率图指示该待处理图像在补光后的光照下任一像素点对应的对光照的吸收强度。然后，基于该光照图像以及反照率图像得到补光后的待处理图像，相当于还原了拍摄场景，然后优化拍摄场景的光照，重新对该待处理图像中进行补光，提高电子设备所获取的图像质量。
第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当该计算机程序产品在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
上述实施例中，对于需要补光的待处理图像，电子设备可以利用该待处理图像的光照图像指示该待处理图像在补光后的光照下任一像素点对应的光照强度，并且利用该待处理图像的反照率图指示该待处理图像在补光后的光照下任一像素点对应的对光照的吸收强度。然后，基于该光照图像以及反照率图像得到补光后的待处理图像，相当于还原了拍摄场景，然后优化拍摄场景的光照，重新对该待处理图像中进行补光，提高电子设备所获取的图像质量。
第六方面，本申请实施例提供了一种计算机可读存储介质，包括指令，当该指令在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。
上述实施例中，对于需要补光的待处理图像，电子设备可以利用该待处理图像的光照图像指示该待处理图像在补光后的光照下任一像素点对应的光照强度，并且利用该待处理图像的反照率图指示该待处理图像在补光后的光照下任一像素点对应的对光照的吸收强度。然后，基于该光照图像以及反照率图像得到补光后的待处理图像，相当于还原了拍摄场景，然后优化拍摄场景的光照，重新对该待处理图像中进行补光，提高电子设备所获取的图像质量。
附图说明
图1示出了一种方案中，电子设备拍摄图像时利用外部设备进行补光时的一个示例；
图2示出了本申请实施例中，电子设备拍摄图像时的一个示例；
图3示出了待处理图像的被拍摄对象中包括两个用户时的示例；
图4示出了电子设备对第一用户的人像进行补光的一个示意性流程图；
图5示出了电子设备对第一用户的人像进行补光时涉及的各图像的示意图；
图6示出了相机坐标系中表示第一图像中像素的法向量的示意图；
图7示出了不同形式的第一环境光图的一个示意图；
图8为电子设备得到第二球谐光照的一个示意性流程图；
图9为电子设备得到第二球谐光照的一个示意图；
图10a-图10e示出了基于不同补光原则确定补光的方向一个示意图；
图11为电子设备对第一用户的人像以及人身进行补光的一个示意性流程图；
图12为电子设备训练第一U-Net网络、VGG网络以及第二U-Net网络的中的参数一个示意图；
图13a-图13d为电子设备对待处理图像后期进行补光的一组示例性用户界面；
图14是本申请实施例提供的电子设备的结构示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本申请以下实施例中的术语“用户界面(user interface，UI)”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面是通过java、可扩展标记语言(extensible markuplanguage，XML)等特定计算机语言编写的源代码，界面源代码在电子设备上经过解析，渲染，最终呈现为用户可以识别的内容。用户界面常用的表现形式是图形用户界面(graphicuser interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的文本、图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
一种方案中，电子设备在拍摄第一用户时，第一用户由于光照不合理的情况下，导致第一用户的部分或者全部区域可能光照不足时，则可以利用外部设备进行补光，使得该第一用户所在区域具有合理光照。
如图1示出了一种方案中，电子设备拍摄图像时利用外部设备进行补光时的一个示例。
如图1中的(a)所示，第一环境光从第一用户的人脸的一侧照射到第一用户的人脸上，而人脸的另一侧由于遮挡出现光照不足导致该侧的人脸偏暗。该第一环境光为电子设备在拍摄第一图像时第一人像周围的光。
此时，如图1中的(b)所示，可以利用外部设备的第二光照对偏暗的一侧人脸进行补光，使得第一用户的人脸两侧光照均匀，不存在一侧偏暗影响图像质量的情况。此时，电子设备拍摄该第一用户时，可以获取如图1中的(c)所示的图像。
如图1中的(c)所示，用户界面10为电子设备的一个拍摄界面，响应于用户在拍摄控件101上的点击操作，电子设备可以获取预览框102中显示的图像。从该图像中可以看出，此时第一用户的人脸两侧都是清晰没有偏暗的，更加契合人眼的审美。
但是，该种方案下，利用了外部设备进行补光，电子设备在拍摄图像时，对于大部分用户来说，利用这样的外部设备进行补光是比较困难的，因为不仅需要专业的外部设备也需要专业的补光技巧。
在本申请实施例中，对于上述方案中的拍摄场景，电子设备不通过外部设备的补光，而是先获取待处理图像，该待处理图像中的第一用户的人脸的一侧光照不足，导致该侧偏暗。然后从该待处理图像中获取第一图像，该第一图像为待处理图像中包括第一用户的人脸的那部分图像，然后计算该第一图像的反照率图像以及光照图像，利用该反照率图像以及光照图像对该第一图像进行补光，得到补光后的第一图像。该补光后的第一图像中，第一用户的人脸两侧都是清晰没有偏暗的，更加契合人眼的审美。然后电子设备利用补光后的第一图像替换待处理图像中的第一图像。
如图2示出了本申请实施例中，电子设备拍摄图像时的一个示例。
如图2中的(a)所示，第一环境光从第一用户的人脸的一侧照射到第一用户的人脸上，而人脸的另一侧由于遮挡出现光照不足导致该侧的人脸偏暗。
此时，电子设备获取该拍摄场景下对应的待处理图像(未显示)，该待处理图像中第一用户的人脸的一侧光照不足，导致该侧偏暗。电子设备可以使用本申请实施例涉及的图像补光方法对该待处理图像中的第一用户的人脸进行补光。补光后的待处理图像可以如图2中的(b)所示。
如图2中的(b)所示，用户界面20为电子设备的一个预览界面，获取预览框102中可以显示补光后的待处理图像，从该图像中可以看出，此时第一用户的人脸两侧都是清晰没有偏暗的，更加契合人眼的审美。
这样，相对于电子设备还原拍摄场景，然后优化拍摄场景的光照，重新对该待处理图像中的第一用户的人脸进行补光，提高电子设备所获取的图像质量。
本申请实施例中，电子设备可以对待处理图像中的被拍摄对象进行补光，修复其由于光照不合理导致的第一问题，其中，被拍摄对象中可以包括第一被拍摄对象，例如，被拍摄对象中包括多个用户，该第一被拍摄对象可以为其中的任一用户的人像，也可以为其中任一用户的人身等。电子设备可以先从待处理图像中获取第一图像，该第一图像为待处理图像中包括第一被拍摄对象的那部分图像，然后计算该第一图像的反照率图像以及光照图像，利用该反照率图像以及光照图像对该第一图像中的第一被拍摄对象进行补光，得到补光后的第一图像。电子设备再利用补光后的第一图像替换待处理图像中的第一图像。
该过程中，光照图像相当于模拟拍摄环境对应的光照，并重新优化拍摄场景的光照，反照率图像是在模拟被拍摄物体对光照的吸收程度。电子设备利用该反照率图像以及光照图像对该第一图像中的第一被拍摄对象进行补光，相对于电子设备构建了在合理光照下拍摄第一被拍摄对象的场景，更符合物理原理。
在本申请实施例中，第一图像可以为第一用户的人像，也可以为第一用户的人身，也可以为第一用户(人像+人身)，还可以为其他的被拍摄对象，本申请实施例对此不作限定。该第一用户为被拍摄对象中的任一用户。其中，第一用户的人像也可以被称为第一人像。
根据电子设备补光的被拍摄对象，将本申请实施例中使用场景可以包括以下2个场景：
该2个场景中，待处理图像中的被拍摄对象为N个用户，其中N为大于等于1的整数。电子设备可以对该N个用户进行补光。
场景1-人像补光：在待处理图像中的被拍摄对象包括N个用户的情况下，电子设备可以利用本申请实施例涉及的图像补光方法对该N个用户的人像进行补光。
图3示出了待处理图像的被拍摄对象中包括两个用户时的示例。
如图3中的(a)所示，待处理图像中包括用户A以及用户B，第一用户可以为其中的任一用户。
具体的，电子设备可以从待处理图像中获取N张图像，任一图像为该N个用户中的任一用户的人像。其中，第一图像可以为该N张图像中任一图像，该第一图像为第一用户的人像，该第一用户为该N个用户中的任一用户。当N为1时，该第一用户为待处理图像中唯一的用户。然后，电子设备可以利用本申请实施例中图像补光方法对该第一图像中的第一用户的人像进行补光。电子设备利用补光后的第一图像替换待处理图像中的第一图像。
例如，如图3中的(b)所示，此时，电子设备从该待处理图像中获取2张图像，分别为用户A的人像以及用户B的人像。第一图像可以为其中的任一图像。
场景2-人像及人身全补光：在待处理图像中的被拍摄对象包括N个用户的情况下，电子设备可以利用本申请实施例涉及的图像补光方法对该N个用户的人像以及人身都进行补光。
在一些实施例中，电子设备可以对待处理图中用户的人像以及用户的人身分别进行补光。
其中，对于用户的人像，电子设备对用户的人脸进行补光的过程可以参考前述对场景1的描述。
对于用户的人身，电子设备可以从待处理图像中获取N张图像，任一图像为该N个用户中的任一用户的人身。其中，该N张图像中任一图像被称为第二图像，该第二图像为第一用户的人身，该第一用户为该N个用户中的任一用户。当N为1时，该第一用户为待处理图像中唯一的用户。然后，电子设备可以利用本申请实施例中图像补光方法对该第二图像中的第一用户的人身进行补光。电子设备利用补光后的第一图像替换待处理图像中的第一图像。
例如，如图3中的(c)所示，此时，电子设备从该待处理图像中获取2张图像，分别为用户A的人身以及用户B的人身。第一图像可以为其中的任一图像。
在另一些实施例中，电子设备可以对待处理图中用户的人像以及用户的人身同时进行补光。
具体的，电子设备可以从待处理图像中获取N张图像，任一图像为该N个用户中的任一用户(人像+人身＝用户)。其中，第一图像可以为该N张图像中任一图像，该第一图像为第一用户，该第一用户为该N个用户中的任一用户。当N为1时，该第一用户为待处理图像中唯一的用户。然后，电子设备可以利用本申请实施例中图像补光方法对该第一图像中的第一用户进行补光。电子设备利用补光后的第一图像替换待处理图像中的第一图像。
例如，如图3中的(d)所示，此时，电子设备从该待处理图像中获取2张图像，分别为用户A以及用户B。第一图像可以为其中的任一图像。
下面详细介绍场景1中，电子设备对待处理图像中的用户的人像进行补光涉及的过程。
在该场景1中，待处理图像中包括N个用户。其中N为大于等于1的整数，电子设备可以利用本申请实施例中的图像补光方法对其中任一用户的人像进行补光。
以电子设备对第一用户的人像进行补光为例进行详细描述，其他用户的人像可以参考对该第一用户的人像进行补光的描述。
图4示出了电子设备对第一用户的人像进行补光的一个示意性流程图。
图5示出了电子设备对第一用户的人像进行补光时涉及的各图像的示意图。
电子设备对待处理图像中的第一用户的人像进行补光涉及的过程可以参考下述对步骤S101-步骤S110的描述：
S101.电子设备获取待处理图像；
该待处理图像中包括第一目标对象，该第一目标对象可以为第一用户的人像等内容。
在拍摄的过程中，被拍摄对象反射的光信号通过镜头被传递到摄像头的图像传感器上，该图像传感器将该光信号转换为电信号，该图像传感器将该电信号传递给ISP，该ISP将该电信号转成为对应的待处理图像，如图5中的(a)所示，为待处理图像的示意图。
在另一些实施例中该待处理图像在电子设备中除了可以用矩阵表示，也可以用数组表示，还可以是其他的表示形式，只要是电子设备可以识别的数据即可，本申请实施例对此不作限定。
应该理解的是，待处理图像除了可以是RGB空间下对应的图像以外，还可以是YUV等其他颜色空间下对应的图像。
电子设备对该待处理进行补光的过程也是对该矩阵中的元素的值进行调整的过程。
S102.电子设备获取待处理图像的一部分作为第一图像，该第一图像为第一用户的人像；
在一种可能的实现方式中，电子设备可以通过人脸识别算法获取第一用户的人像。
该第一用户的人像为第一用户的人脸区域，该人脸区域中至少可以包括人脸，还可以包括人脸周围的部分区域，例如脖子等，如图5中的(b)所示，为第一图像的一个示意图，其为图5中的(a)示出的虚线框中的图像。
具体的，电子设备检测到待处理图像中第一用户的人脸并定位面部关键特征点之后，第一用户的人脸区域就可以被裁剪出来，电子设备可以将该主要的人脸区域作为第一用户的人像。
在一些实施例中，该第一图像可以为在RGB空间下对应的图像，则电子设备可以利用矩阵表示该第一图像。该矩阵中的每一个元素都对应图像中的一个像素。该矩阵中的每一元素为一个三元组，当像素的位深为8bit时，该三元组中的任一数值的取值为0-255。该数值可以用于表示在第一环境光下，第一图像中任一像素在红色(red)/绿色(green)/蓝色(blue)三个颜色通道的亮度值。这三个亮度值用于刻画了任一像素的颜色，例如，元素(255，255，255)表示对应的像素为白色。应该理解的是，上述像素的位深除了可以为8bit，还可以有其他的取值，例如10bit，则该三元组中的任一数值的取值为0-1023，可以表示更精细的颜色亮度。本申请以位深为8bit为例，不应该构成对本申请的限定。
S103.电子设备计算第一图像中任一像素在三维空间中的法向量，得到该第一图像的法向量图像；
该法向量图像是基于待处理图像的法向特征得到的图像。具体的可以基于该第一图像的法向特征得到。
其中，法向特征可以为图像中任一像素的法向量，该法向量为将第一图像中的第一用户的人像转换到三维空间中之后，该像素所在曲面中，垂直于该像素的切线平面的三维向量。该像素的法向量的方向即为该像素的方向，在知道光照的方向以及光强度的情况下，结合像素的方向，可以确定该像素的补光信息。如图5中的(c)所示，为法向量图像的一个示意图。
其中，补光信息是指使得该像素的颜色正常时需要补充的光照，包括光照的方向以及强度。
电子设备可以计算该第一图像中全部像素在三维空间中的法向量，得到该第一图像的法向量图像。该法向量图像中记录了该第一图像中任一像素的法向量信息，可以用于描述第一图像中第一用户的人像的立体信息，确定第一用户的人像的补光信息。
第一用户的人像的补光信息是指使得该第一人像的颜色正常时需要补充的光照，包括光照的方向以及强度。
电子设备在拍摄第一人像时，该第一环境光的光强度以及方向不同，可以影响电子设备在拍摄第一人像时得到的图像质量。例如，第一环境光从第一用户的左脸一侧照过来，则右脸一侧会光线偏暗，图像中，左脸与右脸的明暗程度则不同，影响图像质量。
可以理解的是，在知道光强度以及光照方向的情况下，结合该像素的法向量的方向，可以确定该像素的补光信息，像素的补光信息是指使得该像素的颜色正常时需要补充的光照，包括光照的方向以及强度。例如，当任一像素的方向与第一环境光的方向夹角越大，该像素对应的光强度越小，成像时，该像素的颜色越偏暗。这时，该像素对应的补光信息中光强度应该越大，且光照的方向与该像素的方向的夹角应该越小。
在一些实施例中，电子设备可以在三维空间中建立相机坐标系，电子设备可以将第一图像中第一用户的人像转换到该相机坐标系中，任一像素的法向量的方向都是从该相机坐标系中的一点指向该相机坐标系的原点。
该相机坐标系的原点为电子设备的摄像头的中心。水平方向建立X轴，竖直方向建立Y轴，垂直于平面XOY的方向建立Z轴。其中，平面XOY平行于电子设备的显示屏。
图6示出了相机坐标系中表示第一图像中像素的法向量的示意图。
如图6所示，第一图像可以转换到相机坐标系下，如图6中的(a)所示，图像1图像坐标系中的为第一图像，该图像坐标系中，图像的中心为原点，x轴可以为图像的长，y轴可以为图像的高。如图6中的(b)所示，图像2为相机坐标系中的第一图像。图像1中的A点为第一像素，该第一像素转换到相机坐标系下后对应B点。则此时，图像2为该第一像素所在的曲面，该第一像素的切平面为切平面1。垂直于该切平面1的法向量为该法向量的方向为起点B点指向终点D点，为了便于表示，可以将该法向量/>经过平移，使起点B点与坐标的原点O重合，得到法向量/>该法向量/>的方向为起点O点指向终点C点，其与法向量/>表示的方向相同。则电子设备可以用法向量/>代替法向量/>电子设备可以利用C点的坐标(X,Y,Z)表示法向量/>
可以理解的是，除了相机坐标系还可以参考其他的坐标系，例如世界坐标系等，本申请实施例对此不作限定。
电子设备可以利用矩阵表示该法向量图像。该矩阵中的每一个元素都对应图像中的一个像素的法向量，该元素为一个三元组，该三元组中的任一数值分别表示起点在原点的法向量相对于相机坐标系中X轴、Y轴、Z轴的距离。例如，图6中的第一像素对应的法向量在该矩阵中对应的三元组，可以表示为(X,Y,Z)。
在一种可能的实现方式中，电子设备可以结合第一图像，利用第一U-Net网络计算该第一图像的法向量图像，该第一U-Net网络中可以包括用于提取法向特征的第一残差模块。
具体的，电子设备首先提取第一图像中的图像特征，得到特征图。然后，电子设备通过第一残差模块，利用该特征图提取第一图像的法向特征。对该法向特征进行第一卷积得到法向量图像。其中，该图像特征用于描述第一图像的颜色特征，纹理特征等信息。
应该理解的是，除了通过第一U-Net网络，还可以通过其他的算法得到法向量图像，本申请实施例对此不做限定。
S104.电子设备估计第一图像中第一人像对应的第一环境光，得到该第一人像的第一球谐光照；
第一环境光为电子设备在拍摄第一图像时第一人像周围的光。
第一球谐光照为红色/绿色/蓝色三个颜色通道分别对应的M个第一球谐光照系数，电子设备可以利用该M×3个第一球谐光照系数表示该第一环境光的光强度以及方向。任一通道对应的M个第一球谐光照系数可以表示第一环境光在该通道上的分量，该分量包括第一环境光的光强度以及方向的分量。其中，M的取值可以为9，也可以为其他的数值，本申请实施例对此不作限定。
在一些实施例中，电子设备可以利用矩阵表示该第一球谐光照。该矩阵中有M×3个元素，3表示红色/绿色/蓝色三个颜色通道，M表示任一通道上对应的M个第一球谐光照系数。还可以用其他的方式表示该第一球谐光照，例如数组，本申请实施例对此不作限定。
电子设备可以通过球谐函数估计第一图像中第一人像对应的第一环境光，得到该第一人像的第一球谐光照，利用该第一球谐光照表示该第一环境光。
其中，光照的光强度是指光线在给定方向上(该方向上的辐射强度为1/683瓦特/球面度)的发光强度，其单位为坎德拉(candela)，简称cd。
光照的方向是指光线的传播方向。为了便于叙述，该光照的方向可以与步骤S103中涉及的法向量的方向在同一个参考坐标系下进行描述。例如相机坐标系。
该第一球谐光照可以映射到第一环境光图中，该第一环境光图可以用于表示第一人像在第一环境光下，第一人像周围球面上的任一点对应的光强度以及光照的方向。即电子设备可以利用该第一球谐光照刻画第一人像周围的光照。
该第一环境光图有两种形式：第一形式以及第二形式，可以参考下述对图7的描述。
应该理解的是，第一形式的第一环境光图以及第二形式的第一环境光图本质相同，其可以与第一球谐光照唯一对应。第一球谐光照可以映射到第一形式的第一环境光图以及第二形式的第一环境光图中。电子设备也可以利用第一形式的第一环境光图以及第二形式的第一环境光图映射得到第一球谐光照系数。
其中，任一点的光强度由第一环境光图中该点的明暗程度决定。任一点的光照方向为该点指向球心。
电子设备可以用矩阵表示该第一形式以及第二形式的第一环境光图，该矩阵中有X个元素，任一元素可以表示第一环境光下，第一人像周围空间中的一点。任一元素为一个三元组，该三元组中的任一数值分别表示该点在第一环境光图中的俯仰角、偏航角以及明暗程度，该明暗程度对应的取值范围为(0-255)。
在一些实施例中，电子设备可以可以结合第一图像，利用VGG网络计算该第一图像的第一球谐光照。
具体的，电子设备首先提取第一图像中的图像特征，得到第一图像的特征图。再利用该特征图提取第一图像的法向特征以及反照率特征，然后，电子设备利用该图像特征、法向特征以及反照率特征，得到第一球谐光照。
其中，反照率特征用于反映图像中的像素对光照的吸收情况，其可以用于求取图像的反照率图像，描述图像中任一像素对光强度的接收程度。
应该理解的是，除了通过VGG网络，还可以通过其他的算法得到第一球谐光照，本申请实施例对此不做限定。
在一些实施例中，电子设备将该第一球谐光照可以映射到第一环境光图中使用的算法可以为球谐函数(sphericalharmonics)。
图7示出了不同形式的第一环境光图的一个示意图。
如图7中的(a)所示，为第一环境光图的第一形式，将该第一环境光图展开，可以得到图7中的(c)示出的第一环境光图的第二形式。图7中的(b)展现了两者的关系。
如图7中的(a)所示，该第一环境光图描述的是一个球面上任一点的光强度与方向，该球面中包括第一人像。例如，该第一人像可以为人像A，该球面可以为球面A。该人像A周围空间中的任一点可以为球面A上的任一点。例如，球面A上的点H。点H的光照方向为该点指向球心G。点H对应的光强度为球面中该点对应的明暗程度。越暗，则光强度越小，越亮表示光强度越大。
在一种可能的实现方式中，电子设备可以将球面A转换到球坐标系中，在球坐标系中表示该球面A中任一点的方向。为了便于表示，该球坐标系与可以前述涉及的相机坐标系对应。其球心为相机坐标系的原点，其X轴、Y轴、Z轴为前述相机坐标系的X轴、Y轴、Z轴。电子设备可以利用任一点相对于该球坐标系的俯仰角(pitch)以及偏航角(yaw)来确定任一点的方向。
如图7中的(b)所示，任一点的俯仰角表示为该点绕X的旋转角度，俯仰角的范围为-180°-180°。任一点的偏航角表示该点绕Y的旋转角度，偏航角的范围为-180°-180°。例如，K点对应的俯仰角为β，K点对应的偏航角为α。电子设备可以用(α，β)表示K点相对于球面的方向。
应该理解的是，除了图7中的(b)涉及的表示方法，还有其他的方式表示该球面中的任一点，例如参考地球的经纬度描述方法，本申请实施例对此不作限定。
参考图7中的(b)的描述，将图7中的(a)涉及的第一环境光图展开，得到图7中的(c)所示的第一环境光图的第二形式。此时，该第一环境光图中，任一点对应的明暗程度表示该点的光强度。第一形式的第一环境光图中任一点都可以映射到第二形式的第一环境光图中。例如，图7中的(a)，第一形式的第一环境光图中涉及的K点，若其对应的偏航角为α为45°，俯仰角为β为45°。则其在该第二形式中的第一环境光图中的对应图7中的(c)中的K点。
下述提及的第一环境光图均指第二形式的第一环境光图。
可以理解的是，电子设备通过该第一球谐光照映射到第一环境光图中，还可以确定该第一环境光图中第一环境光的方向以及光强度。具体的，电子设备确定该第一环境光图中最亮的点对应的方向为第一环境光的方向，该点的明暗程度为第一环境光的光强度。在确定第一人像的方向的以及第一环境光的方向以及光强度的情况下，电子设备可以确定第一人像的补光信息。
本申请实施例中，上述最亮的点可以被称为环境光点。
其中，确定第一人像的方向的过程可以参考下述对步骤S105的描述。确定第一人像的补光信息的过程可以参考下述对步骤S106的描述。
S105.电子设备计算该第一图像中的第一人像的姿态信息，得到第一人像的方向；
第一人像的姿态信息包括该第一人像的俯仰角(pitch)、偏航角(yaw)以及翻滚角(roll)中的至少一个。
该俯仰角、偏航角以及翻滚角的参考坐标系是前述涉及的摄像机坐标系。则，俯仰角表示第一人像绕X轴旋转的角度，偏航角表示第一人像绕Y轴旋转的角度，翻滚角表示第一人像绕Z轴旋转的角度。
在一些实施例中，计算第一人像的方向还可以使用第一人像的俯仰角、偏航角以及翻滚角等姿态信息中的至少一个，例如使用俯仰角、偏航角以及翻滚角。
其中，该第一人像的方向可以用于描述第一人像的人脸朝向，该第一人像的方向是相对于三维标准人像的方向而言的。该三维标准人像正对电子设备的摄像机中心，其在摄像机坐标系中的俯仰角为0°、偏航角为0°以及翻滚角为0°。
电子设备可以利用该第一人像的姿态信息，得到第一人像的方向，该第一人像的方向可以为前述球坐标系中涉及的球面中的一点指向的球心时的方向。
电子设备可以确定该第一人像的人脸关键点信息，根据该人脸关键点信息计算得到第一人像的旋转向量再将该旋转向量转换为旋转矩阵，通过旋转矩阵计算得到第一人像的姿态信息。
具体的，电子设备首先确定第一人像的N个人脸关键点信息，其中N为大于等于1的整数，该N个人脸关键点信息为相对于图像标系中的坐标，对该图像坐标系的描述可以参考前述对图6中的(a)的相关描述。
然后，电子设备获取世界坐标系中三维标准人像的N个人脸关键点信息，该三维标准人像的N个人脸关键点与前述第一人像的N个人脸关键点是生理特征相同的关键点，例如，如果第一人像的N个人脸关键点为左眼角，右眼角，鼻尖的中心，左嘴角，右嘴角、下颌的中心，则三维标准人像的N个人脸关键点也为左眼角，右眼角，鼻尖的中心，左嘴角，右嘴角、下颌的中心。电子设备可以将该相对于世界坐标系的人脸关键点的坐标信息转换到图像坐标系中，然后再根据该图像坐标系中，该三维标准人像的人脸关键点的坐标以及第一人像的人脸关键点的坐标确定旋转向量，再将该旋转向量转换为旋转矩阵，通过该旋转矩阵计算得到第一人像的姿态信息。
其中，电子设备确定旋转向量的过程涉及的公式可以参考下述公式：
公式(1)中，(x,y)表示任一三维标准人像的人脸关键点在图像坐标系中的坐标。(x′,y′)表示任一第一人像的人脸关键点在图像坐标系中的坐标。argmin表示通过最小化映射到图像坐标系中，三维标准人像的人脸关键点(x,y)和第一人像的人脸关键点(x′,y′)的误差，获得旋转向量R和平移向量t。公式(2)中，s为放大系数，A为电子设备的摄像头的内参矩阵，R为旋转向量，t为平移向量，[U V W]T为视界坐标系中三维标准人像的人脸关键点的坐标。[xy 1]T为图像坐标系中三维标准人像的人脸关键点的坐标。
然后，电子设备将旋转向量转换为旋转矩阵，通过该旋转矩阵计算得到第一人像的姿态信息的过程可以参考下述公式：
公式(3)中，Rm表示旋转矩阵，norm(R)表示对旋转向量R进行归一化，Rx表示该旋转向量R在相机坐标系的X轴的分量，Ry表示该旋转向量R在相机坐标系的Y轴的分量，Rz表示该旋转向量R在相机坐标系的Z轴的分量。公式(4)中，pitch表示俯仰角，yaw表示偏航角，roll表示翻滚角。 其中，Rm(i,j)表示旋转矩阵中第i行第j列对应的元素，例如Rm(1,1)表示旋转矩阵的第1行第1列对应的元素。
然后电子设备可以根据第一人像的俯仰角以及偏航角计算得到第一人像的方向。
公式(5)中，向量表示第一人像的方向。a为第一人像的俯仰角。b为第一人像的偏航角。
S106.电子设备根据该第一球谐光照以及第一人像的方向对该第一球谐光照进行调整，得到第二球谐光照；
该第二球谐光照可以用于表示第二环境光的光强度以及方向。
其中，第二环境光为对第一环境光进行补光后，第一人像周围的光，即补光加上第一环境光之后的光。
该第二球谐光照的表示方式可以参考前述对第一球谐光照的描述。电子设备可以利用M×3个第二球谐光照系数表示该第二环境光的光强度以及方向。
电子设备可以根据该第一球谐光照确定第一环境光的光强度以及方向。然后，结合第一人像的方向，根据补光原则，确定补光的光强度以及方向。然后利用补光的光强度以及方向对该第一球谐光照对应的第一环境光图进行调整，得到第二环境光图。最后，利用该第二环境光图得到第二球谐光照。
其中，补光原则可以有N种，其中N为大于等于1的整数。电子设备可以根据第一环境光的光强度以及方向，确定其中至少一个补光原则用于图像补光。也可以根据用户设置，确定其中至少一个补光原则用于图像补光。还可以根据其他的方式从N个补光原则中确定其中一个或多个补光原则用于图像补光，本申请实施例对此不作限定。
其中，第一环境光的光强度可以为电子设备通过步骤S104中涉及的第一球谐光照确定的。也可以是通过环境光传感器确定的获取待处理图像时的环境光的光强度。
本申请实施例中的补光原则可以为正补光、负补光、轮廓光、伦勃朗光以及分割光等中的一个或多个。该补光原则的详细描述可以参考下述对步骤S202的描述，此处暂不赘述。
图8为电子设备得到第二球谐光照的一个示意性流程图。
图9为电子设备得到第二球谐光照的一个示意图。
电子设备得到第二球光照的可以参考下述步骤S201-步骤S204的描述。
下面结合图9详细介绍步骤S201-步骤S204。
S201.电子设备根据第一球谐光照确定第一环境光的光强度以及方向；
电子设备将该第一球谐光照映射到第一环境光图中，确定该第一环境光图中最亮的点对应的方向为第一环境光的方向，该点的明暗程度为第一环境光的光强度。
如图9中的(a)所示，为第一球谐光照对应的第一环境光图，电子设备可以确定该第一环境光图中明暗程度的取值最大的点(即最亮的点)为U点，则电子设备可以确定该U点的方向以及U点的明暗程度作为第一环境光的方向以及光强度。
S202.电子设备根据补光原则，结合第一人像的方向、第一人像的翻滚角以及第一环境光的光强度以及方向，确定补光的光强度以及方向；
在一些实施例中，补光原则可以为正补光、负补光、轮廓光、伦勃朗光以及分割光等中的一个或多个。
其中，正补光为用于填充第一环境光在主体(例如人脸或人像)上造成的阴影区域，使得阴影区域可以变亮。一般补光的光强度会比第一环境光的光强度更低，这样做的目的是在不产生额外阴影的前提下，让位于阴影处的主体更加凸显。本原则规定第一环境光与补光的光强度比在2:1左右时效果较好，并以此为标准生成补光信息。其中，一种常见的正补光的情况为：以人脸对称进行补光，即第一环境光与补光相对于人脸对称，例如，前述图2中的(a)所示。关于该正补光的详细描述可以参考如下对图10a的描述。
负补光中，补光往往用于增强非阴影区域的光线。这样做的目的是增强主体的明暗对比度。本原则规定第一环境光与补光的光强度比在4:1左右时效果较好，并以此为标准生成补光信息。关于该负补光的详细描述可以参考如下对图10b的描述。
轮廓光中，补光往往被放置于主体的背后，例如，在主体是人像的情况下，该补光投射于人像的头部、肩部位置，同时也要避免人像正面过于昏暗。这样做的目的是凸显人像主体，营造整体层次感。本原则规定第一环境光与补光的光强度比在4:1左右时效果较好。关于该轮廓光的详细描述可以参考如下对图10c的描述。
伦勃朗光中，补光往往被放置于主体的左、右前方45°左右，距离较远，略高于人像视线。这样做的目的是为脸部创造更多明暗对比度和深度，同时明暗过渡柔和。本原则规定第一环境光与补光的光强度比在4:1左右时效果较好。关于该伦勃朗光的详细描述可以参考如下对图10d的描述。
分割光中，补光往往被放置于主体的正左、右侧，距离适中，平行于人像视线。这样做的目的是为脸部创造强烈、戏剧性的明暗对比，明暗过渡锐利，暗侧完全处于阴影中。本原则规定第一环境光与补光的光强度比在4:1左右时效果较好。关于该分割光的详细描述可以参考如下对图10e的描述。
关于该补光原则的详细描述可以参考如下对图10a-图10e的描述。
图10a-图10e示出了基于不同补光原则确定补光的方向一个示意图。
下面结合图10a-图10e详细介绍本申请实施例涉及的补光原则以及不同补光原则下确定补光的光强度以及方向的过程。
电子设备首先通过第一人像的翻滚角确定第一方向。确定第一方向的过程如下：首先生成一个初始方向，该初始方向为Y轴正半轴上的一点指向球心。然后，将该初始方向绕Z轴旋转与翻滚角大小相同的角度，使得该初始方向平行于翻滚角的始边或终边中的一条，得到第一方向。
然后电子设备确定第一人像的方向与第一方向形成的平面为第一平面。
然后，电子设备将第一人像的方向、转换到前述涉及的球坐标系中，结合第一环境光的方向确定补光的方向，电子设备可以确定满足预设条件的方向为该补光的方向。
基于正补光的补光原则中，该补光的方向可以满足以下预设条件：第一环境光的方向在第一平面上的投影为第一投影，第一环境光的方向与第一投影的夹角为第一夹角。补光的方向在第一平面上的投影为第二投影且该第二投影与第一投影重合，补光的方向与第二投影的夹角为第二夹角。且该补光的方向处于第一平面的一侧但是该第一环境光的方向处于第一平面的另一侧。其中，该第二夹角为第一夹角的0.8-2倍大小。例如1倍大小，即第一夹角与第二夹角一样大。
此时，电子设备可以确定补光的光强度为第一环境光的0.25-0.8倍大小，例如0.5倍大小，即补光的光强度:第一环境光的光强度为1:2。
该补光原则中，电子设备确定该补光的方向可以如图10a所示，假设此时，第二夹角等于第一夹角，第一人像的翻滚角为0°。则电子设备可以确定第一方向为方向1，则第一平面为平面1。第一环境光在平面1上的第一投影未示出，但在该示例中，其与第一人像的方向重合，则第一环境光的方向与第一投影的夹角为θ，则电子设备可以确定在该第一平面的另一侧，投影与该第一投影重合，且与该第一投影为第二夹角的方向为补光方向。即图10a中示出的P点指向球心G的方向。
基于负补光的补光原则中，补光的方向可以满足以下预设条件：在第一人像的方向以及第一环境光的方向的形成的平面中，该补光的方向与第一环境光的方向的夹角可以为0°-10°，例如为0°，即该补光的方向与第一环境光的方向相同。
此时，电子设备可以确定补光的光强度可以为第一环境光的0.25-0.8倍大小，例如0.25倍大小，即补光的光强度:第一环境光的光强度为1:4。
该补光原则中，电子设备确定该补光的方向可以如图10b所示，在第一人像的方向与第一环境光的方向形成的平面中，电子设备可以确定第一环境光的方向为补光的方向，即图10b中示出的P点指向球心G的方向。
基于轮廓光的补光原则中，补光的方向可以满足以下预设条件：该补光的方向与第一人像的方向相同。对应到第一环境光图中，可以解释为，电子设备可以从第一人像后方的球面上的确定某一点，该点到球心的方向与第一人像的方向相同。
此时，电子设备可以确定补光的光强度可以为第一环境光的0.25-0.8倍大小，例如0.25倍大小，即补光的光强度:第一环境光的光强度为1:4。
该补光原则中，电子设备确定该补光的方向可以如图10c所示，电子设备可以确定第一人像的方向为补光的方向，即图10c中示出的P点指向球心G的方向。
基于伦勃朗光的补光原则中，可以设置的补光中包括第一补光以及第二补光，第一补光的方向以及第二补光的方向可以满足以下预设条件：第一补光处于第一平面的一侧但是第二补光处于第一平面的另一侧。第一补光在该第一平面的投影为第三投影，第二补光与该第一平面的投影为第四投影，第三投影与第四投影重合。第三投影以及第四投影与第一人像的方向的夹角为10°-20°，例如15°。第一补光与第一投影的夹角以及第二补光与第四投影的夹角为40°-50°，例如45°。
此时，电子设备可以确定补光的光强度可以为第一环境光的0.25-0.8倍大小，例如0.25倍大小，即补光的光强度:第一环境光的光强度为1:4。
该补光原则中，电子设备确定该补光的方向可以如图10d所示，第一平面为平面1。电子设备可以确定该第一平面中，与第一人像的方向为15°的方向上的投影1为第一补光的投影，与该投影1为45°的方向为第一补光方向，即图10d中示出的P点指向球心G的方向。Q点的方向为第二补光的方向。对Q点的描述可以参考前述对P点的描述，此处不再赘述。
基于分割光的补光原则中，可以设置的补光中包括第一补光以及第二补光，第一补光的方向可以满足以下预设条件：第一补光处于第一平面的一侧但是第二补光处于第一平面的另一侧。第一补光在该第一平面的投影为第三投影，第二补光与该第一平面的投影为第四投影，第三投影与第四投影重合且投影与球心G重合。第一补光的方向以及第二补光的方向与第一人像的方向的夹角为90°。
此时，电子设备可以确定补光的光强度可以为第一环境光的0.25-0.8倍大小，例如0.25倍大小，即补光的光强度:第一环境光的光强度为1:4。
该补光原则中，电子设备确定该补光的方向可以如图10e所示，第一平面为平面1。电子设备可以确定该第一平面中，投影为球心G且与该第一人像为90°的方向为第一补光方向，即图10e中示出的P点指向球心G的方向。Q点的方向为第二补光的方向。对Q点的描述可以参考前述对P点的描述，此处不再赘述。
可以理解的是除了上述涉及的基于正补光、负补光、轮廓光、伦勃朗光以及分割光的补光原则之外，还可以有其他的补光原则，本申请实施例对此不做限定。
S203.电子设备根据补光的光强度以及方向，对第一球谐光照对应的第一环境光图进行调整，得到第二环境光图；
在一些实施例中，电子设备首先根据补光的光强度以及方向，结合第一环境光图，确定补光对应的补光图。然后，结合补光图对该第一环境光图进行调整，得到第二环境光图。
该第二环境光图可以用于表示第一人像在第二环境光下，第一人像周围球面上的任一点对应的光强度以及光照的方向。
电子设备得到补光图的过程可以参考下述描述：
电子设备根据上述步骤S202中补光的方向，确定补光点，该补光点的方向与该补光的方向相同。例如，上述图10a-图10e中示出的P点以及图10d、图10e中示出的Q点记为补光点。其指向球心的方向为补光的方向。
电子设备可以用一个二元组表示该补光点，该二元组的值分别为补光点对应的俯仰角以及偏航角。
电子设备根据环境光点在第一环境光图中确定第一区域。具体的，电子设备可以将该第一环境光图中，以环境光点为圆心，半径等于第一阈值的球面上的全部点对应的区域作为第一区域。例如，如图9中的(a)所示，该环境光点为U点，半径为r，则第一区域为区域1。
电子设备将该第一区域中的点的光强度乘以调整参数，偏航角以及俯仰角不变，得到第二区域。其中，调整参数为补光的光强度与第一环境光的光强度的比值。
然后，电子设备利用该第二区域去替换无光图中的第三区域得到补光图。该无光图是指没有环境光照时的第一人像周围球面上的任一点对应的光强度以及光照的方向，电子设备可以将第一环境光图中的全部元素的值更换为255得到该无光图。该第三区域是指无光图中，以补光点为圆心，半径等于第一阈值的球面上的全部点对应的区域。例如，如图9中的(b)所示，为补光图的一个示意图，其中，补光点为P点，半径为r，第二区域为区域2，被第二区域替换的区域即为第三区域。
电子设备可以结合该补光图对该第一环境光图进行调整，得到第二环境光图。具体的，电子设备将第一环境光图中的任一点的光强度与该补光图中的对应的点的光强度相加，得到第二环境光图。其中，对应是指，两点的偏航角以及俯仰角相同。
在另一些实施例中，电子设备在生成第二环境光图的过程中，可以不涉及前述介绍的补光图。而是直接将第一环境光图中的第四区域中的任一点的光强度与第二区域中的对应的点的光强度相加，得到第二环境光图。其中，对应是指，两点的偏航角以及俯仰角相同。第四区域为第一环境光图中，以补光点为圆心，半径等于第一阈值的球面上的全部点对应的区域。
应该理解的是，上述涉及图9中的(b)以及图9中的(c)的内容是基于正补光的补光原则得到的，对于其他的补光原则，电子设备确定的补光方向不同，则确定的补光点不同，则得到第二环境光图不同，该过程与步骤S203相似，可以参考前述对步骤S203的描述，此处不再赘述。特别的，对于生成第一补光以及第二补光的补光原则，则电子设备可以确定两个补光点，生成第二环境光图的过程是两个补光点都进行步骤S203中的涉及的过程的结合。
电子设备可以用矩阵表示该第二环境光图，该矩阵中有X个元素，任一元素可以表示第二环境下，第一人像周围空间中的一点。任一元素为一个三元组，该三元组中的任一数值分别表示该点在第二环境光图中的俯仰角、偏航角以及明暗程度，该明暗程度对应的取值范围为(0-255)。
S204.电子设备根据该第二环境光图得到第二球谐光照。
电子设备将该第二环境光图映射到第二球谐光照中，使用的算法可以为球谐函数的反函数。
该第二球谐光照为红色/绿色/蓝色三个颜色通道分别对应的M个第二球谐光照系数，电子设备可以利用该M×3个第二球谐光照系数表示该第二环境光的光强度以及方向。任一通道对应的M个第二球谐光照系数可以表示第二环境光在该通道上的分量，该分量包括第二环境光的光强度以及方向的分量。其中，M的取值可以为9，也可以为其他的数值，本申请实施例对此不作限定。
S107.电子设备根据法向量图像以及第二球谐光照，生成该第一图像对应的光照图像；
第一图像对应的光照图像用于描述在第二环境光下，该第一图像中任一像素在红色、绿色以及蓝色三个颜色通道上的光强度。如图5中的(d)所示，为光照图像的一个示意图。该光强度用于指示任一像素在红色/绿色/蓝色三个颜色通道的亮度值，该亮度值的取值范围可以为0-2N，其中，N为大于等于1的正整数，通常可以为8或者10，为8时表示任一像素的位深为8bit，亮度值的取值范围为0-255，为10时表示像素的位深为10bit，亮度值的取值范围为0-1023。任一像素的三个亮度值刻画了任一像素的颜色，例如，当某一像素在红色/绿色/蓝色三个颜色通道亮度值为(255，255，255)表示对应的像素为白色。
电子设备可以将该法向量图像以及第二球谐光照进行点乘，得到光照图像。
具体的，当电子设备可以将表示该法向量图像的矩阵以及表示该第二球谐光照的矩阵进行点乘，得到一个可以用于表示该光照图像的矩阵，表示该光照图像的矩阵与表示该法向量图像的矩阵的元素数量相同，表示该光照图像的矩阵中任一元素为一个三元组，该三元组中的任一数值分别表示该第一图像中任一像素在红色、绿色以及蓝色三个颜色通道中其中一个颜色通道对应的光强度。
S108.电子设备计算该第一图像的反照率图像；
该反照率图像可以体现第一人像的纹理和颜色信息，其用于描述该第一图像中任一像素对红色、绿色以及蓝色三个颜色通道上的光强度的接收程度。如图5中的(e)所示，为反照率图像的一个示意图。例如，光照图像中，某一像素在红色/绿色/蓝色三个颜色通道亮度值为(255，255，255)，表示该像素为白色，但是在反照率图像中，该像素对红色/绿色/蓝色三个颜色通道的光强度的接收程度为(0，0，0)，则此时，补光后的第一图像中，该像素点在红色/绿色/蓝色三个颜色通道亮度值为(255×0，255×0，255×0)＝(0，0，0)，及该像素的颜色为黑色。
该反照率图像是基于待处理图像的反照率特征得到的图像。具体的，可以是基于第一图像的反照率特征得到的图像。
在一种可能的实现方式中，电子设备首先提取第一图像中的图像特征，得到特征图。然后，电子设备通过第二残差模块，利用该特征图提取第一图像的反照率特征。对该反照率特征进行第二卷积得到反照率图像。
电子设备可以用矩阵表示该反照率图像。该矩阵中的每一个元素都对应图像中的一个像素。该矩阵中的每一元素为一个三元组，该三元组中的任一数值可以用于表示第一图像中任一像素分别在红色(red)、绿色(green)以及蓝色(blue)三个颜色通道中其中一个颜色通道上对光强度的吸收程度。
在一种可能的实现方式中，电子设备可以结合第一图像，利用第二U-Net网络计算该第一图像的反照率图像，该第二U-Net网络中可以包括用于提取反照率特征的第二残差模块。
应该理解的是，除了通过第二U-Net网络，还可以通过其他的算法得到反照率图像，本申请实施例对此不做限定。
S109.电子设备根据该反照率图像以及光照图像，对该第一图像进行补光，得到补光后的第一图像；
电子设备可以将该反照率图像以及光照图像相乘，得到补光后的第一图像。如图5中的(f)所示，为补光后的第一图像。
具体的，当电子设备可以将表示该反照率图像的矩阵以及表示该光照图像的矩阵相乘，得到一个可以用于表示该补光后的第一图像的矩阵，表示补光后的第一图像的矩阵与表示第一图像的矩阵的元素数量相同，表示补光后的第一图像的矩阵中任一元素为一个三元组，该三元组中的任一数值分别表示在第二环境光照下，该第一图像中任一像素红色、绿色以及蓝色三个颜色通道中其中一个颜色通道的亮度值。
S110.电子设备利用补光后的第一图像替换待处理图像中的第一图像。
电子设备将该补光后的第一图像的全部像素替换待处理图像中的第一图像的全部像素没得到补光后的待处理图像。
应该理解的是，步骤S101-步骤109中是以第一用户的人像作为第一目标对象为例进行讲解，在其他的情况下，该第一目标对象还可以为其他的内容，例如为下述步骤S301-步骤S306中涉及的第一用户的人像以及第一用户的人身。
在本申请实施例中，第一目标对像的姿态参数包括第一目标对象的姿态信息和/或第一目标对象的方向等信息。
下面详细介绍场景2中，电子设备对待处理图像中的用户进行人像及人身全补光。
待处理图像中包括N个用户，其中N为大于等于1的整数。电子设备可以利用本申请实施例中的图像补光方法对其中任一用户的人像进行补光。
以电子设备对第一用户的人像以及人身进行补光为例进行详细描述，其他用户可以参考对该第一用户的人像以及人身进行补光的描述。
在一些实施中，电子设备可以将该对待处理图中第一用户的人像以及第一用户的人身分别进行补光。得到补光后的待处理图像。
图11为电子设备对第一用户的人像以及人身进行补光的一个示意性流程图。
电子设备对第一用户的人像以及人身进行补光的过程可以参考下述对步骤S301-步骤S306的描述：
S301.电子设备获取待处理图像；
该过程与前述步骤S101的描述相同，可以参考对步骤S101的描述，此处不再赘述。
S302.电子设备获取待处理图像的一部分作为第一图像，该第一图像为第一用户的人像；
该过程与步骤S102的描述相同，电子设备可以参考对步骤S102的描述，此处不再赘述。
S303.电子设备获取待处理图像的另一部分作为第二图像，该第二图像为第一用户的人身；
该第二图像中包括第一用户的人身，即第一用户中，除第一用户的人像那部分。
电子设备可以从待处理图像中识别第一用户的人身，然后截取该第一用户的人身，得到第二图像。
S304.电子设备对该第一图像进行补光，得到补光后的第一图像；
该步骤S304涉及的过程与步骤S103-步骤S110相同。可以参考前述对步骤S103-步骤S110的描述。
S305.电子设备对该第二图像进行补光，得到补光好的第二图像；
该步骤S305涉及的过程与步骤S103-步骤S109相似。但是步骤S103-步骤S109的处理对象不是第一用户的人像，而是第一用户的人身。可以参考前述对步骤S103-步骤S109的描述。
S306.电子设备利用该补光后的第一图像以及补光后的第二图像替换待处理图像中的第一图像以及第二图像；
电子设备将该补光后的第一图像以及第二图像中的全部像素替换待处理图像中的第一图像以及第二图像的全部像素没得到补光后的待处理图像。
下面介绍前述步骤S101-步骤S110中涉及的第一U-Net网络、VGG网络以及第二U-Net网络的中的参数是在训练过程。
应该理解的是，前述涉及的第一U-Net网络、VGG网络以及第二U-Net网络的中的参数是在训练过程中确定的。然后，预先将训练好的第一U-Net网络、VGG网络以及第二U-Net网络设置到电子设备中。
在一种可能的实现方式中，电子设备训练该第一U-Net网络、VGG网络以及第二U-Net网络的中的参数的过程可以参考如下描述：
图12为电子设备训练第一U-Net网络、VGG网络以及第二U-Net网络的中的参数一个示意图。
电子设备将该第一图像作为输入，经过该第一U-Net网络、VGG网络以及第二U-Net网络生成测试第一图像，然后计算该测试第一图像与第一图像之间的误差，不断修正第一U-Net网络、VGG网络以及第二U-Net网络中的参数，知道该测试第一图像与第一图像之间的误差小于阈值时停止训练。训练过程如下：
S401.电子设备通过第一U-Net网络利用该第一图像生成测试法向量图像；
该第一U-Net网络中可以包括用于提取法向特征的第一残差模块，电子设备首先提取第一图像中的图像特征，得到特征图。然后，电子设备通过第一残差模块，利用该特征图提取第一图像的法向特征。对该法向特征进行第一卷积得到法向量图像。其中，该图像特征用于描述第一图像的颜色特征，纹理特征等信息。
S402.电子设备通过VGG网络利用该第一图像得到第一测试球谐光照；
具体的，电子设备首先提取第一图像中的图像特征，得到第一图像的特征图。再利用该特征图提取第一图像的法向特征以及反照率特征，然后，电子设备利用该图像特征、法向特征以及反照率特征，得到第一球谐光照。
S403.电子设备通过第二U-Net网络利用该第一图像生成测试反照率图像；
该第二U-Net网络中可以包括用于提取反照率特征的第二残差模块。
具体的，电子设备首先提取第一图像中的图像特征，得到特征图。然后，电子设备通过第二残差模块，利用该特征图提取第一图像的反照率特征。对该反照率特征进行第二卷积得到反照率图像。
S404.电子设备通过法向量图像以及第一球谐光照，生成测试光照图像；
测试过程中，不需要进行补光，因此电子设备可以利用第一环境光对应的第一球谐光照以及法向量图像进行点乘，生成测试光照图像。
S405.电子设备利用测试光照图像以及测试反照率图像对第一图像进行补光，得到测试第一图像。
电子设备利用测试光照图像以及测试反照率图像相乘，得到测试第一图像。
应该理解的是，上述S401-S405为对该第一U-Net网络、VGG网络以及第二U-Net网络的一种训练方式，还可以有其他的训练方式，不应该对本申请实施例进行限定。
应该理解的是，场景2涉及的对第一用户的人身的各网络中的参数与该过程相似，可以参考前述对步骤S401-步骤S402的描述，此处不再赘述。
在本申请实施例中，待处理图像中，包括第一目标对象的图像可以被称为第一区域图像或者与第一目标对象对应的图像被称为第一区域图像(例如，图像中包括人物A，目标对象是人脸，故A的人脸的图像部分是第一区域图像)。
下面介绍本申请实施例中涉及的图像补光方法的2个使用场景。
该2个使用场景中，以电子设备对第一用户的人像进行补光，不对第一用户的人身进行补光为例。
使用场景1：当电子设备打开相机应用，电子设备可以采集待处理图像，并且实时的使用本方案中的图像补光方法对该待处理图像进行图像补光，使得显示到显示屏中的图像为补光后的待处理图像。
打开相机应用，电子设备可以采集待处理图像，并且实时的使用本方案中的图像补光方法对该待处理图像进行图像补光，使得显示到显示屏中的图像为补光后的待处理图像。
该使用场景1中的一种可能的示例性用户界面可以参考前述对图2的描述，此处不再赘述。
使用场景2：电子设备可以使用本方案涉及的图像补光方法，对待处理图像进行后期处理。
在一些实施例中，电子设备使用本方案涉及的图像补光方法，对待处理图像进行后期处理的过程可以由用户的操作触发。
如图13a-图13d所示，为电子设备利用对待处理图像后期进行补光的一组示例性用户界面。
图13a所示，为电子设备拍摄待处理图像的一个示例性场景，第一环境光从第一用户的人脸的一侧照射到第一用户的人脸上，而人脸的另一侧由于遮挡出现光照不足导致该侧的人脸偏暗。此时，响应于用户在拍摄控件301上的操作(如点击操作)，电子设备可以拍摄待处理图像。显示如图13b所示的用户界面31。
该用户界面31中包括回显控件311，该回显控件311中可以显示该待处理图像，该待处理图像中第一用户的人脸一侧由于遮挡出现光照不足导致该侧的人脸偏暗。响应于用户在该回显控件311上的操作(如点击操作)，电子设备可以显示如图13b中所示的用户界面32。
该用户界面32中包括预览框321，电子设备可以将待处理图像显示在该预览框321中。该用户界面32中还包括更多设置控件322。响应于用户在该更多设置控件322上的操作(如点击操作)，电子设备可以显示如图13c所示的用户界面33。
该用户界面33中可以显示若干个对待处理图像的设置项，其中包括图像补光设置项331。该图像补光设置项331可以用于触发电子设备对待处理图像进行补光。响应于用户在图像补光设置项331上的操作(如点击操作)，电子设备可以显示如图13c中的用户界面34。
该用户界面34中可以显示图像补光提示框341，该图像补光提示框341中可以用于提示用户选择一个补光模式，响应于用户在“正补光”控件上的操作(如点击操作)，电子设备可以对该待处理图像进行图像补光，使用的补光原则为基于正补光的补光原则。此时，电子设备可以显示如图13d中所示的用户界面35。
该用户界面35为电子设备利用基于正补光的补光原则对待处理图像进行补光的一个用户界面，该用户界面35中可以显示提示框351，该提示框351中可以显示提示文字：“正在对‘图像1’进行图像补光，请稍后”。处理完成之后，电子设备可以显示如图13d所示的用户界面36。
该用户界36为电子设备将待处理图像利用基于正补光的补光原则对待处理图像进行补光，得到补光后的待处理图像后的一个用户界面，该用户界面36中可以显示提示文字361：“处理完成”。可以看出，此时，图像中，待处理图像中，第一用户的人脸另一侧不再偏暗。
下面介绍本申请实施例提供的示例性电子设备。
图14是本申请实施例提供的电子设备的结构示意图。
下面以电子设备为例对实施例进行具体说明。应该理解的是，电子设备可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本发明实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口等。
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备的结构限定。在本申请另一些实施例中，电子设备也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
电子设备通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。
电子设备可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备可以包括1个或N个摄像头193，N为大于1的正整数。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。
触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。
在一些实施例中，电子设备的触摸传感器180K接收到针对相机应用中的拍摄控件的操作(例如点击操作)，相应的硬件中断被发给内核层。内核层将操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件为相机应用中的拍摄控件，然后调用相机应用通过应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193采集待处理图像。具体的，电子设备的摄像头193可以将被拍摄对象反射的光信号通过镜头传递到摄像头193的图像传感器上，该图像传感器将该光信号转换为电信号，该图像传感器将该电信号传递给ISP，该ISP将该电信号转成为待处理图像，并且可以将该待处理图像存储到内部存储器121中。然后，处理器110可以获取存储器121中存储的待处理图像，调用相关计算机指令，对该待处理图像进行补光处理，得到补光后的图像。具体的，处理器110可以获取存储器121中存储的待处理图像，调用相关计算机指令执行以下步骤：获取待处理图像的一部分作为第一图像(例如，获取第一用户的人像为第一图像)，计算该第一图像的反照率图像以及光照图像，得到补光后的第一图像，再利用补光后的第一图像替换待处理图像中的第一图像，即可得到补光后的图像。
其中，处理器110通过第一图像，得到光照图像的过程如下：
1.处理器110通过第一图像计算第一图像中任一像素在三维空间中的法向量，得到该第一图像的法向量图像；
2.处理器110估计第一图像中第一人像对应的第一环境光，得到该第一人像的第一球谐光照；
3.处理器110计算该第一图像中的第一人像的姿态信息，得到第一人像的方向；
4.处理器110根据该第一球谐光照以及第一人像的方向对该第一球谐光照进行调整，得到第二球谐光照；
5.根据法向量图像以及第二球谐光照，生成该第一图像对应的光照图像。
综上所述，本申请实施例中，该处理器110可以调用内部存储器121中存储的计算机指令，以使得电子设备执行本申请实施例中的图像补光方法。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (13)

1.一种图像补光方法，其特征在于，应用于包括摄像头的电子设备，所述方法包括：
显示第一界面，所述第一界面包括第一控件；
检测到对所述第一控件的第一操作；
响应于所述第一操作，所述摄像头采集待处理图像，所述待处理图像包括第一目标对象，所述第一目标对象处于第一环境光；
基于第一区域图像得到表示所述第一环境光的第一球谐光照，所述第一区域图像为所述待处理图像中的第一目标对象的图像；
确定所述待处理图像中所述第一目标对象的姿态参数，所述姿态参数用于标识所述第一目标对象的姿态信息；
根据所述第一目标对象的姿态参数，确定第一目标对象的方向，所述第一目标对象的姿态参数包括所述第一目标对象在相机坐标系中的俯仰角、偏航角以及翻滚角姿态信息中的至少一个，所述第一目标对象的方向用于描述第一目标对象的朝向；
根据所述第一球谐光照，结合所述第一目标对象的方向，得到补光的光强度及方向；
根据所述补光的光强度及方向对所述第一球谐光照进行调整，得到第二球谐光照；
基于法向量图和所述第二球谐光照得到光照图像，其中所述法向量图是基于所述待处理图像的法向特征得到的图像；
基于所述光照图像和反照率图得到补光图像，其中，所述反照率图是基于待处理图像的反照率特征得到的图像。
2.根据权利要求1所述的方法，其特征在于，基于法向量图和所述第二球谐光照得到光照图像，其中所述法向量图是基于所述待处理图像的法向特征得到的图像，具体包括：
基于法向量图和所述第二球谐光照得到光照图像，其中所述法向量图是基于所述第一区域图像的法向特征得到的图像；
基于所述光照图像和反照率图得到补光图像，其中，所述反照率图是基于待处理图像的反照率特征得到的图像，具体包括：
基于所述光照图像和反照率图得到补光图像，其中，所述反照率图是基于第一区域图像的反照率特征得到的图像；
基于所述光照图像和反照率图得到补光图像之后，所述方法还包括：
利用所述补光图像替换所述待处理图像中的第一区域图像。
3.根据权利要求1或2所述的方法，其特征在于：
在所述反照率图是基于待处理图像的反照率特征得到的图像的情况下，所述反照率图用于描述所述待处理图像中任一像素对红色、绿色以及蓝色三个颜色通道上的光强度的接收程度；所述光照图像用于描述在第二环境光下，所述待处理图像中任一像素在红色、绿色以及蓝色三个颜色通道上的光强度；在所述反照率图是基于第一区域图像的反照率特征得到的图像的情况下，所述反照率图用于描述所述第一区域图像中任一像素对红色、绿色以及蓝色三个颜色通道上的光强度的接收程度；所述光照图像用于描述在第二环境光下，所述第一区域图像中任一像素在红色、绿色以及蓝色三个颜色通道上的光强度。
4.根据权利要求1或2所述的方法，其特征在于：
所述第一目标对象为第一用户的人像。
5.根据权利要求1或2所述的方法，其特征在于，根据所述第一球谐光照，结合所述第一目标对象的方向，得到补光的光强度及方向，具体包括：
根据所述第一球谐光照，确定所述第一环境光的光强度及方向；
将第一目标对象的方向与第一方向形成的平面作为第一平面；所述第一方向为绕相机坐标系Z轴旋转与所述翻滚角相同的角度，且平行于所述翻滚角的始边或终边中的一条的方向；
结合所述第一环境光的方向、第一目标对象的方向以及第一平面，确定满足第一预设条件的方向为补光的方向；
确定第一环境光的光强度的0.25倍为补光的光强度。
6.根据权利要求5所述的方法，其特征在于，所述第一预设条件为：
所述补光的方向在第一平面上的投影为第一投影，所述第一投影与第二投影重合；所述第二投影为所述第一环境光的方向在所述第一平面上的投影；
且所述补光的方向与所述第二投影的夹角为第一夹角，所述第一夹角为第二夹角的0.8-2倍大小；所述第二夹角为所述第一环境光的方向与所述第二投影的夹角；
且所述补光的方向处于第一平面的一侧但是所述第一环境光的方向处于第一平面的另一侧。
7.根据权利要求5所述的方法，其特征在于，补光包括第一补光以及第二补光，则所述补光的方向包括第一补光的方向及第二补光的方向，所述第一预设条件为：
所述第一补光处于所述第一平面的一侧但是所述第二补光处于所述第一平面的另一侧；
且所述第一补光在所述第一平面的投影为第三投影，所述第二补光在所述第一平面的投影为第四投影，所述第三投影与所述第四投影重合；
且所述第三投影及所述第四投影与第一人像的方向的夹角为10°-20°；
且所述第一补光与第一投影的夹角以及所述第二补光与第四投影的夹角为40°-50°。
8.根据权利要求5所述的方法，其特征在于，补光包括第一补光以及第二补光，则所述补光的方向包括第一补光的方向及第二补光的方向，所述第一预设条件为：
所述第一补光处于所述第一平面的一侧但是所述第二补光处于所述第一平面的另一侧；
且所述第一补光在所述第一平面的投影为第三投影，所述第二补光在所述第一平面的投影为第四投影，所述第三投影与所述第四投影重合；
且所述第三投影及第四投影与球心G重合；
且所述第一补光的方向以及第二补光的方向与第一人像的方向的夹角为90°。
9.根据权利要求1或2所述的方法，其特征在于，根据所述第一球谐光照，结合所述第一目标对象的方向，得到补光的光强度及方向，具体包括：
根据所述第一球谐光照，确定所述第一环境光的光强度及方向；
将第一人像的方向与第一环境光的方向形成的平面作为第二平面；
确定第二平面中，与所述第一环境光的方向的夹角为0°-10°的方向为补光的方向；
确定第一环境光的光强度的0.25倍为补光的光强度。
10.根据权利要求1或2所述的方法，其特征在于，根据所述第一球谐光照，结合所述第一目标对象的方向，得到补光的光强度及方向，具体包括：
根据所述第一球谐光照，确定所述第一环境光的光强度；
确定第一环境光的光强度的0.25倍为补光的光强度；
确定第一人像的方向为补光的方向。
11.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和一个或多个存储器；其中，所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序，当所述一个或多个处理器执行所述计算机程序时，使得所述电子设备执行如权利要求1-10任一项所述的方法。
12.一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机程序以使得所述电子设备执行如权利要求1-10中任一项所述的方法。
13.一种计算机可读存储介质，包括计算机程序，其特征在于，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1-10中任一项所述的方法。
CN202111113526.7A 2021-09-18 2021-09-18 一种图像补光方法及电子设备 Active CN115914853B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202111113526.7A CN115914853B (zh) 2021-09-18 2021-09-18 一种图像补光方法及电子设备
EP22869123.4A EP4270975A4 (en) 2021-09-18 2022-09-08 IMAGE LIGHT SUPPLEMENTATION METHOD AND ELECTRONIC DEVICE
PCT/CN2022/117957 WO2023040754A1 (zh) 2021-09-18 2022-09-08 一种图像补光方法及电子设备
US18/264,855 US20240314450A1 (en) 2021-09-18 2022-09-08 Image light supplementation method and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111113526.7A CN115914853B (zh) 2021-09-18 2021-09-18 一种图像补光方法及电子设备

Publications (2)

Publication Number Publication Date
CN115914853A CN115914853A (zh) 2023-04-04
CN115914853B true CN115914853B (zh) 2023-11-28

Family

ID=85601884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111113526.7A Active CN115914853B (zh) 2021-09-18 2021-09-18 一种图像补光方法及电子设备

Country Status (4)

Country Link
US (1) US20240314450A1 (zh)
EP (1) EP4270975A4 (zh)
CN (1) CN115914853B (zh)
WO (1) WO2023040754A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597963A (zh) * 2020-05-13 2020-08-28 展讯通信（上海）有限公司 用于图像中人脸的补光方法、系统、介质以及电子设备
CN112927200A (zh) * 2021-02-23 2021-06-08 北京房江湖科技有限公司 本征图像分解方法、装置、可读存储介质及电子设备
CN113240622A (zh) * 2021-03-12 2021-08-10 清华大学 人体场景图像本征分解与重光照方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012001948A1 (ja) * 2010-06-30 2012-01-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム
GB201414144D0 (en) * 2014-08-08 2014-09-24 Imagination Tech Ltd Relightable texture for use in rendering an image
US10992874B2 (en) * 2018-08-27 2021-04-27 Lattice Energy Technology Corporation Camera system and camera fill light method
CN109040612B (zh) * 2018-08-29 2020-07-28 百度在线网络技术（北京）有限公司 目标对象的图像处理方法、装置、设备及存储介质
CN111063017B (zh) * 2018-10-15 2022-04-12 华为技术有限公司 一种光照估计方法及装置
CN109785423B (zh) * 2018-12-28 2023-10-03 广州方硅信息技术有限公司 图像补光方法、装置及计算机设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597963A (zh) * 2020-05-13 2020-08-28 展讯通信（上海）有限公司 用于图像中人脸的补光方法、系统、介质以及电子设备
CN112927200A (zh) * 2021-02-23 2021-06-08 北京房江湖科技有限公司 本征图像分解方法、装置、可读存储介质及电子设备
CN113240622A (zh) * 2021-03-12 2021-08-10 清华大学 人体场景图像本征分解与重光照方法和装置

Also Published As

Publication number Publication date
CN115914853A (zh) 2023-04-04
WO2023040754A1 (zh) 2023-03-23
EP4270975A4 (en) 2024-08-07
EP4270975A1 (en) 2023-11-01
US20240314450A1 (en) 2024-09-19

Similar Documents

Publication Publication Date Title
US11948282B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
CN115601244B (zh) 图像处理方法、装置和电子设备
US11563889B2 (en) Electronic device and method for controlling camera using external electronic device
US11144197B2 (en) Electronic device performing function according to gesture input and operation method thereof
CN115601274B (zh) 图像处理方法、装置和电子设备
JP2016208098A (ja) 画像処理装置、画像処理方法、およびプログラム
US11729513B2 (en) Electronic device and HDR image generation method therefor
KR20190067438A (ko) 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
CN111597963B (zh) 用于图像中人脸的补光方法、系统、介质以及电子设备
CN115908120B (zh) 图像处理方法和电子设备
US20230410268A1 (en) Method for providing image, and electronic device supporting same
CN115914853B (zh) 一种图像补光方法及电子设备
US20230137831A1 (en) Electronic device for improving image quality
US12114079B2 (en) Electronic device for adjusting exposure value of image including face
CN117132515A (zh) 一种图像处理方法及电子设备
US12081879B2 (en) Method for generating image and electronic device therefor
CN116095513A (zh) 拍照方法和相关装置
CN114241127A (zh) 全景图像生成方法、装置、电子设备和介质
CN114979479A (zh) 拍摄方法及其装置
CN114841863A (zh) 一种图像颜色校正方法和设备
CN118247186B (zh) 图像畸变矫正方法、电子设备、存储介质及芯片
CN112243118A (zh) 白平衡校正方法、装置、设备及存储介质
CN116051647B (zh) 一种相机标定方法和电子设备
CN116051434B (zh) 一种图像处理方法及相关电子设备
WO2023160219A1 (zh) 补光模型的训练方法、图像处理方法及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant