CN117082359B - 图像处理方法及相关设备 - Google Patents

Abstract

本申请实施例提供的一种图像处理方法及相关设备。该方法包括：电子设备得到第一图像；电子设备获取第一图像的N个虚拟光源的信息，N个虚拟光源用于为第一图像进行重打光；对于第一图像中的第一像素点，根据第一像素点在第一图像中的第一像素值以及N个第一角度，得到第一像素点的N个第二像素值，根据N个虚拟光源的强度系数，以及N个虚拟光源各自对应的第二像素值，计算得到第一像素点的打光后像素值；电子设备更新第一图像中的第一像素点的像素值为打光后像素值。这样，电子设备可使用虚拟光源的信息实现对图像自动重打光，减少对用户手动处理的依赖；同时，增强图像的光影效果，提升图像的质量和视觉效果。

Description

图像处理方法及相关设备

技术领域

本申请涉及终端技术领域，尤其涉及一种图像处理方法及相关设备。

背景技术

在人像摄影领域中，灯光的强度和位置会影响到成片的效果，例如，好的光影效果可以提升图像的质量和视觉效果。

但受到拍摄场地的光照条件、电子设备的性能以及用户拍摄技巧等因素的影响，用户较难获取到光影效果合适的高质量图像。例如，在阴天、雾天、低光和逆光、电子设备性能较差或用户不具备专业摄影等情况下，电子设备拍摄到的图像中光影效果较差。

发明内容

本申请实施例提供一种图像处理方法及相关设备，应用于终端技术领域，可提供一种自动为图像重打光的方法，减少用户对图像的处理操作，同时提高图像的质量和视觉效果。

第一方面，本申请实施例提出一种图像处理方法，应用于电子设备，该方法包括：电子设备得到第一图像；电子设备获取第一图像的N个虚拟光源的信息，N个虚拟光源用于为第一图像进行重打光，任一个虚拟光源的信息包括虚拟光源的位置和虚拟光源的强度系数，N为大于0的整数；对于第一图像中的第一像素点，根据第一像素点在第一图像中的第一像素值以及N个第一角度，得到第一像素点的N个第二像素值，其中，N个第一角度包括N个虚拟光源的位置到第一像素点的位置的N条连线，分别与第一像素点的法线的夹角；根据N个虚拟光源的强度系数，以及N个虚拟光源各自对应的第二像素值，计算得到第一像素点的打光后像素值；电子设备更新第一图像中的第一像素点的像素值为打光后像素值。这样，电子设备可使用虚拟光源的信息对图像自动重打光，减少对用户手动处理的依赖；同时，增强图像的光影效果，提升图像的质量和视觉效果。

在一种可能的实现方式中，第一像素点的N个第二像素值分别与N个第一角度的余弦值呈正相关。这样，电子设备可通过第一角度的余弦值计算得到较为准确的第二像素值。

在一种可能的实现方式中，对于第一图像中的第一像素点，根据第一像素点在第一图像中的第一像素值以及N个第一角度，得到第一像素点的N个第二像素值，还包括：电子设备得到第一像素点的位置和第一像素点的法向量；对于N个虚拟光源中的第一虚拟光源，电子设备通过第一像素点的法向量与第一虚拟光源在第一像素点上的入射光线向量计算得到第一角度的余弦值；第一虚拟光源在第一像素点上的入射光线向量，是电子设备通过第一像素点的位置和第一虚拟光源的位置得到的；电子设备通过第一角度的余弦值得到第一虚拟光源对应的第二像素值。这样，电子设备可较为准确的得到单个虚拟光源对图像中的单个像素点的打光效果。

在一种可能的实现方式中，第一角度的余弦值满足下述公式：

其中，θ为第一角度，n为第一像素点的法向量，为第一虚拟光源在第一像素点处的入射光线向量；/>是电子设备通过第一像素点的位置和第一虚拟光源的位置得到的。

在一种可能的实现方式中，第一虚拟光源对应的第二像素值满足下述公式：

其中，X为第一像素点的位置，为第一像素点处的反射光线向量；/>为第一虚拟光源在第一像素点的第二像素值；/>为当给定入射方向为/>、给定反射方向为/>时，第一像素点处的反射光线的辐照度与入射光线的辐照度的比值；/>与第一图像的第一像素值有关；/>为第一虚拟光源的强度；Ω为第一虚拟光源在第一像素点的入射光线向量的集合。

在一种可能的实现方式中，电子设备得到第一图像中的第一像素点的位置和第一像素点的法向量，包括：电子设备得到第一图像的第一深度图像和第一图像的第一法线图像，其中，第一深度图像中包括第一像素点的位置，第一法线图像包括第一像素点的法向量。这样，电子设备可通过深度图和法线图得到图像中任一像素点的准确信息。

在一种可能的实现方式中，第一像素点的打光后像素值满足下述公式：

其中，L为第一像素点的打光后像素值，为第i虚拟光源的强度系数，/>为第i虚拟光源在第一像素点的第二像素值。

在一种可能的实现方式中，N个虚拟光源的信息是电子设备的模型通过第一图像确定的，模型是通过样本集进行学习得到的，其中，样本集包括样本图像和样本图像对应的样本文本；任一样本图像均是基于一个或多个预设虚拟光源的信息对样本原图像进行打光后得到的，样本图像中标注有样本文本，样本文本包括预设虚拟光源的位置和预设虚拟光源的强度系数；当在模型中输入第一图像时，模型能够输出第一图像的N个虚拟光源的信息。这样，电子设备可通过光源估计模型输出虚拟光源的信息，相较于人工在图像中标定虚拟光源的方法，本申请实施例中的虚拟光源的信息更加准确，基于该虚拟光源的信息打光后的图像具有更加真实、立体的视觉效果。

在一种可能的实现方式中，在电子设备得到第一图像之前，还包括：电子设备得到第二图像；电子设备识别第二图像中的目标对象，并得到目标对象的第一图像。这样，电子设备可针对特定的对象进行打光，同时也降低了对图像进行重打光时的算力。

第二方面，本申请实施例提供一种电子设备，电子设备也可以称为终端设备、终端（terminal）、用户设备（user equipment，UE）、移动台（mobile station，MS）、移动终端（mobile terminal，MT）等。终端设备可以是手机（mobile phone）、智能电视、穿戴式设备、平板电脑（Pad）、带无线收发功能的电脑、虚拟现实（virtual reality，VR）终端设备、增强现实（augmented reality，AR）终端设备、工业控制（industrial control）中的无线终端、无人驾驶（self-driving）中的无线终端、远程手术（remote medical surgery）中的无线终端、智能电网（smart grid）中的无线终端、运输安全（transportation safety）中的无线终端、智慧城市（smart city）中的无线终端、智慧家庭（smart home）中的无线终端等等。

该电子设备包括：包括：处理器和存储器；存储器存储计算机执行指令；处理器执行存储器存储的计算机执行指令，使得电子设备执行如第一方面的方法。

第三方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序。计算机程序被处理器执行时实现如第一方面的方法。

第四方面，本申请实施例提供一种计算机程序产品，计算机程序产品包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面的方法。

第五方面，本申请实施例提供了一种芯片，芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行如第一方面所述的方法。

应当理解的是，本申请的第二方面至第五方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

图1为本申请实施例提供的电子设备100的结构示意图；

图2为本申请实施例提供的电子设备100的软件架构框图；

图3为本申请实施例提供的一种图像处理方法的流程示意图；

图4为本申请实施例提供的一种图像处理方法的流程示意图；

图5为本申请实施例提供的第一角度的示意图；

图6为本申请实施例提供的一种图像处理方法的界面示意图；

图7为本申请实施例提供的另一种图像处理方法的界面示意图；

图8为本申请实施例提供的一种图像处理装置的结构示意图。

具体实施方式

为了便于清楚描述本申请实施例的技术方案，以下，对本申请实施例中所涉及的部分术语和技术进行简单介绍：

1、重打光：可以为将图像中目标对象的原始光影修改为，该目标对象在指定的环境光(environmentmap)影响下的光影。其中，指定的环境光可以为本申请实施例中的虚拟光源，目标对象可以为任一物体，本申请实施例中，电子设备可用于对图像中的人像进行重打光，以提升图像中人像的立体感和真实感。

2、其他

为了便于清楚描述本申请实施例的技术方案，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b，或c中的至少一项（个），可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

需要说明的是，本申请实施例中的“在……时”，可以为在某种情况发生的瞬时，也可以为在某种情况发生后的一段时间内，本申请实施例对此不作具体限定。此外，本申请实施例提供的显示界面仅作为示例，显示界面还可以包括更多或更少的内容。

在人像摄影领域中，灯光的强度和位置会影响到成片的效果，例如，好的光影效果可以提升图像的质量和视觉效果。但拍摄场地的光照条件、电子设备的性能以及用户拍摄技巧等因素均会影响图像中光影效果，使得用户较难获取到光影效果合适的高质量图像。例如，在阴天、雾天、低光和逆光、电子设备性能较差或用户不具备专业摄影等情况下，电子设备拍摄到的图像中光影效果较差。

可能的实现中，电子设备可通过对图像进行重打光的方法来提升图像的光影效果；但重打光过程中，需要用户根据图像处理的经验手动调试光源位置，通过观察光源在不同位置的打光效果选择较好的打光后的图像，用户操作繁琐，且要求用户具备一定的图像处理经验，影响用户的使用体验。

有鉴于此，本申请实施例提供一种图像处理方法，电子设备得到一张图像后，可通过更改图像中像素点的像素值来修改该图像中的光影效果；不同的光影效果与不同的虚拟光源的信息有关；电子设备可通过一个或多个虚拟光源的信息对图像中的像素点进行打光，得到一个或多个虚拟光源叠加作用下的打光后的图像；例如，计算任一个虚拟光源对各像素点打光后的像素值；并将任一像素点在N个虚拟光源叠加作用下的总像素值设置为该像素点的新的像素值。这样，可增强图像的质量和视觉效果，同时，无需用户手动补光，简化用户操作。

本申请实施例中，电子设备也可以称为终端设备、终端（terminal）、用户设备（user equipment，UE）、移动台（mobile station，MS）、移动终端（mobile terminal，MT）等。终端设备可以是手机（mobile phone）、智能电视、可穿戴设备、平板电脑（Pad）、带无线收发功能的电脑、虚拟现实（virtual reality，VR）终端设备、增强现实（augmented reality，AR）终端设备、工业控制（industrial control）中的无线终端、无人驾驶（self-driving）中的无线终端、远程手术（remote medical surgery）中的无线终端、智能电网（smart grid）中的无线终端、运输安全（transportation safety）中的无线终端、智慧城市（smart city）中的无线终端、智慧家庭（smart home）中的无线终端等等。

其中，可穿戴设备也可以称为穿戴式智能设备，是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，例如：智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。

此外，在本申请实施例中，终端设备还可以是物联网（internet of things，IoT）系统中的终端设备，IoT是未来信息技术发展的重要组成部分，其主要技术特点是将物品通过通信技术与网络连接，从而实现人机互连，物物互连的智能化网络。本申请的实施例对终端设备所采用的具体技术和具体设备形态不做限定。

在本申请实施例中，电子设备可以包括硬件层、运行在硬件层之上的操作系统层，以及运行在操作系统层上的应用层。该硬件层包括中央处理器（central processingunit，CPU）、内存管理单元（memory management unit，MMU）和内存（也称为主存）等硬件。该操作系统可以是任意一种或多种通过进程（process）实现业务处理的计算机操作系统，例如，Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。该应用层包含浏览器、通讯录、文字处理软件、即时通信软件等应用。

为了能够更好地理解本申请实施例，下面对本申请实施例的电子设备的结构进行介绍：

图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，用户标识模块（subscriberidentification module，SIM）卡接口195以及嵌入式安全芯片(eSE芯片)196等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。本申请实施例中，处理器110用于执行图像处理方法中有关信息处理的步骤。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏（liquid crystal display，LCD），有机发光二极管（organic light-emittingdiode，OLED），有源矩阵有机发光二极体或主动矩阵有机发光二极体（active-matrixorganic light emitting diode的，AMOLED），柔性发光二极管（flex light-emittingdiode，FLED），Miniled，MicroLed，Micro-oLed，量子点发光二极管（quantum dotlightemitting diodes，QLED）等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。本申请实施例中，电子设备100的显示屏194可显示经图像处理方法进行重打光后的图像。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。一种可能的实现方式中，当电子设备100处于拍摄人像的场景中时，电子设备100可执行本申请实施例中的图像处理方法，得到打光后的图像。

摄像头193用于捕获静态图像或视频。在一些实施例中，电子设备可以包括1个或N个摄像头193，N为大于1的正整数。本申请实施例中，电子设备100可通过摄像头193采集需要重打光的原始图像。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序（比如声音播放功能，图像播放功能等）等。存储数据区可存储电子设备100使用过程中所创建的数据（比如音频数据，电话本等）等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器（universal flash storage，UFS）等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。例如，本申请实施例中，处理器110可以通过运行内部存储器121中存储的指令，使电子设备100执行本申请实施例提供的图像处理方法。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构，等。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

图2是本申请实施例的电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统可以包括：应用程序层（applications）、应用程序框架层（application framework）、硬件抽象层（hardware abstract layer，HAL）以及内核层（kernel），其中，内核层可能成为驱动层。

应用程序层可以包括一系列应用程序包。

如图2所示，应用程序包可以包括设置、邮箱、视频、音乐、相机、图库、电话等应用程序。可选的，应用程序包还可以包括用于图像处理的应用程序，图像处理的应用程序中包括用于图像处理的算法或模型等。可以理解的是，图像处理的应用程序可以单独存在，也可以为应用程序层中任意的应用程序的一部分，本申请实施例不作具体限定。

应用程序框架层为应用程序层的应用程序提供应用编程接口（applicationprogramming interface，API）和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，资源管理器，视图系统，通知管理器，相机访问接口等。

其中，相机访问接口使得应用程序可以进行相机管理，访问相机设备。比如管理相机进行图像拍摄等。

硬件抽象层，可以包含多个库模块，库模块如可以为相机库模块、算法库模块等。Android系统可以为设备硬件加载相应的库模块，进而实现应用程序框架层访问设备硬件的目的。本申请实施例中，算法库中可以包括用于得到虚拟光源的信息的光源估计模型；用于得到深度图像和法线图像的相关模型，用于计算打光后像素值的算法等。

内核层是硬件和软件之间的层。内核层用于驱动硬件，使得硬件工作。内核层可以包含摄像头驱动，本申请实施例对此不做限制。

例如，摄像头驱动可以驱动硬件层中的摄像头传感器执行图像拍摄等。

下面结合图2说明本申请实施例的图像处理方法可能的实现方式。

一种可能的实现方式中，本申请实施例的相关算法模型设置在硬件抽象层的算法库中。例如，在电子设备对人像进行拍摄时，可以通过相机应用调用相机访问接口，相机访问接口管理相机硬件抽象层通过摄像头驱动实现人物图像的获取，获取的人物图像进一步在硬件抽象层的算法库中经过本申请实施例的图像处理方法相关模型和算法的计算后，显示打光后的图像。

下面结合图3对本申请实施例中提供的图像处理方法进行说明，图3示出了本申请实施例中提供的图像处理方法的流程示意图，如图3所示：

S301、电子设备得到第一图像。

电子设备可以是手机、平板电脑、电脑、可穿戴电子设备等设备。第一图像可以为电子设备从其他设备上得到的，也可以是基于电子设备的摄像头采集得到的；本申请实施例对第一图像的来源不做限制。第一图像可以为RGB(red，green，blue)图。

可选的，第一图像可以是电子设备获取的原始图像，也可以是经过对原始图像处理后得到的图像。一些场景中，用户想要对原始图像中的目标对象进行打光处理，而不是对原始图像中的整个场景进行打光处理；这时，电子设备可通过对原始图像进行处理，去掉非目标对象的画面，得到包括目标对象的第一图像；非目标对象的画面可以例如原始图像的背景。

在步骤S301之前，还可包括下述步骤：电子设备得到第二图像；电子设备识别第二图像中的目标对象，并得到目标对象的第一图像。其中，第二图像可以为原始图像，第一图像可以为对原始图像中的目标对象的画面进行提取的图像。例如，目标对象可以为人物等，非目标对象可以为原始图像中的背景。

S302、电子设备获取第一图像的N个虚拟光源的信息。

其中，N个虚拟光源用于为第一图像进行重打光，任一个虚拟光源的信息包括虚拟光源的位置和虚拟光源的强度系数，N为大于0的整数。虚拟光源的位置可以为在第一图像所处虚拟三维空间中，虚拟光源的位置；虚拟光源的强度系数可以理解为：在多个虚拟光源的叠加光场中，单个虚拟光源作用在任一像素点上的光照强度比例。例如，N个虚拟光源的信息可以例如[{光源1:()，强度系数:0.8}，{光源2:(/>)，强度系数:0.3}……]。

第一图像中可包括一个或多个目标对象，电子设备可针对任一目标对象得到虚拟光源信息。例如，目标对象包括人物，电子设备可得到第一图像中与该人物有关的N个虚拟光源的信息。

S303、对于第一图像中的第一像素点，根据第一像素点在第一图像中的第一像素值以及N个第一角度，得到第一像素点的N个第二像素值，其中，N个第一角度包括N个虚拟光源的位置到第一像素点的位置的N条连线，分别与第一像素点的法线的夹角。

第一像素点可以为第一图像中的任一像素点，其中，本申请实施例中的图像处理方法可适用于人像处理领域，第一像素点也可是第一图像中与人物相关的像素点。第一像素值可以为第一像素点的原始像素值，第一像素值可以例如RGB值。

第一角度可以为第一像素点处的入射角度，具体的，第一角度可以为第一像素点处的法线与第一像素点处的入射光线的夹角，例如，第一像素点处的入射光线可以为一个虚拟光源的位置到第一像素点的位置的连线。

可以理解的是，第二像素值为虚拟光源模拟照射下的第一像素点的像素值，第二像素值可反映该虚拟光源在第一像素点的反射光亮度，而第一像素点的反射光亮度与入射的虚拟光源的光强和第一角度有关；电子设备可在第一像素点的第一像素值的基础上，基于第一角度计算虚拟光源在第一像素点上的反射光强度，从而得到第二像素值。

需要说明的是，一些实施例中，电子设备可通过第一图像的相关信息和虚拟光源的相关信息计算得到第一角度的实际值；另一些实施例中，电子设备也可不计算第一角度，而是通过第一角度的相关参数参与计算。本申请实施例对此不作限制。

本申请实施例中，电子设备得到N个虚拟光源，N个第二像素值与N个虚拟光源对应。例如，第一虚拟光源的光照作用到第一像素点时，电子设备可得到第一虚拟光源在第一像素点上的第一个第二像素值；第二虚拟光源的光照作用到第一像素点时，电子设备可得到第二虚拟光源在第一像素点上的第二个第二像素值；以此类推，第N虚拟光源的光照作用到第一像素点时，电子设备可得到第N虚拟光源在第一像素点上的第N个第二像素值。

S304、根据N个虚拟光源的强度系数，以及N个虚拟光源各自对应的第二像素值，计算得到第一像素点的打光后像素值。

可以理解的是，步骤S303可以为计算N个虚拟光源中的一个虚拟光源，在第一像素点处的反射光强度的过程。当存在多个虚拟光源时，电子设备可对多个虚拟光源下的第二像素值进行叠加，得到多个虚拟光源共同作用下的打光后像素值。

一种可能的实现方式中，第一像素点的打光后像素值可以为N个虚拟光源的强度系数与对应的第二像素值的乘积之和。例如：第一像素点的打光后像素值满足下述公式：

其中，L为第一像素点的打光后像素值，为第i虚拟光源的强度系数，/>为第i个虚拟光源在第一像素点的第二像素值。

S305、电子设备更新第一图像中的第一像素点的像素值为打光后像素值。

电子设备得到第一像素点的打光后像素值后，可将第一图像中第一像素点的像素值由第一像素值更新为第一像素点的打光后像素值。

S306、电子设备遍历第一图像中的全部或部分像素点，得到多个打光后像素值；基于多个打光后像素值对多个像素点的像素值进行更新，得到打光后的第一图像。

需要说明的是，步骤S301-S305可以为电子设备得到第一图像中一个像素点的打光后像素值的计算方法。本申请实施例中，电子设备可遍历第一图像中的全部或部分像素点，并完成这些像素点的像素值的更新过程，电子设备可以得到对第一图像中的像素点进行打光后的第一图像；其中，打光后的第一图像中像素点的对比度高于第一图像中的像素点的对比度；用户看到的打光后的第一图像中目标对象的光影效果和立体感要优于第一图像，从而提升用户的使用体验。

下面对步骤S302中N个虚拟光源的信息的获取方法进行说明。

电子设备获取第一图像的N个虚拟光源的信息，具体包括：电子设备中的模型可通过第一图像得到N个虚拟光源的信息；其中，该模型是通过样本集进行学习得到的，其中，样本集包括样本图像和样本图像对应的样本文本；任一样本图像均是基于一个或多个预设虚拟光源的信息对样本原图像进行打光后得到的，样本图像中标注有样本文本，样本文本包括预设虚拟光源的位置和预设虚拟光源的强度系数；当在模型中输入第一图像时，该模型能够输出第一图像的N个虚拟光源的信息。

示例性的，该模型可以为光源估计模型。本申请实施例中，电子设备中预先设置有光源估计模型；光源估计模型可以是预先训练好的多模态模型。光源估计模型拥有根据图像输出待添加的虚拟光源的信息的能力。光源估计模型可根据第一图像输出一个或多个虚拟光源的信息，任一虚拟光源的位置均不同。

具体的，电子设备的光源估计模型包括第一图像编码器和第一文本解码器。第一图像编码器用于将图像转换为用数字表示的向量，第一文本解码器用于将数字表示的向量转换为文本。电子设备中预先存储有多个虚拟光源的信息的文本和/或文本向量；电子设备使用光源估计模型的过程可以例如：电子设备基于第一图像编码器将第一图像编码为图像向量；电子设备分别计算图像向量与多个文本向量的相似度；电子设备基于第一文本解码器将相似度最高的文本向量转换为文本。

其中，图像向量和文本向量均可以为128维的向量；相似度可以为电子设备对第一图像与虚拟光源的信息的文本之间的相似度进行打分的分数，相似度可以理解为第一图像与虚拟光源的信息的文本的匹配程度。

电子设备可采用例如欧氏距离、余弦相似度等计算方式分别计算得到第一图像与多个虚拟光源的信息的文本的多个相似度。相似度的范围可以例如在0到1之间，其中，相似度越接近1，则第一图像和虚拟光源的信息的文本之间的匹配程度越高。

可以理解的是，多模态模型具有根据图像生成文本的能力，电子设备可通过样本集对多模态模型进行训练，得到光源估计模型。本申请实施例中，光源估计模型的训练过程可如下所示：

1)获取样本集。

样本集中包括多个样本图文对，样本图文对中包括样本图像和与样本图像匹配的样本文本，样本图像与样本文本强相关；其中，样本图像可以通过一个或多个预设虚拟光源对样本原图像进行打光后的图像，样本图像标注有对应的样本文本，样本文本可以为该样本图像中预设虚拟光源的信息，例如：预设虚拟光源的信息可包括：预设虚拟光源的位置和预设虚拟光源的强度系数。

一种可能的实现方式中，样本原图像可以为去光照图像。第一电子设备可在去光照图像中添加一个或多个预设虚拟光源，得到样本图像，并记录一个或多个预设虚拟光源的信息。其中，预设虚拟光源的信息可以是基于人工经验设置的，第一电子设备通过预设虚拟光源的信息对样本原图像进行重打光，可以得到高质量的样本集。

需要说明的是，训练模型的第一电子设备与步骤S401-S405中的电子设备可以为同一设备，也可以为不同设备。

2)将样本集中的样本图文对转换为对话格式的样本图文对，并使用对话格式的样本图文对训练多模态模型，得到光源估计模型。

多模态模型可以为问答模型，第一电子设备可通过问答的形式对多模态模型进行训练；其中，对话格式的样本图文对中包括样本图像和转换后的样本文本。转换后的样本文本可以为提词器(prompt)。其中，prompt的构造可以例如：{任务描述；示例1；/>示例2；……；/>示例k；/>；输入}。示例性的，转换后的样本文本可以为###Human{图像中需要补充的光源位置和强度系数}；###Assistant虚拟光源:[{光源1:(/>)，强度系数:/>}，{光源2:(/>)，强度系数:/>}……]。

多模态模型中包括第二图像编码器和第二文本编码器；其中，第二图像编码器可以例如视觉编码器(vision transformer，VIT)；第二文本编码器可以例如珞马编码器(vicuna encode)。

第一电子设备可基于上述样本图像和转换后的样本文本训练多模态模型，训练过程可如下所示：使用第二图像编码器将样本图像转化为样本图像向量，以及使用第二文本图像编码器将样本文本转化为样本文本向量；通过图像文本对比学习(image-textcontrastive,ITC)的方式和图像文本匹配(image-text matching，ITM)的方式对样本图像向量和样本文本向量进行训练。

其中，电子设备通过ITC和ITM的方式对样本图像向量和样本文本向量进行训练，得到样本图像与样本文本的相似度。训练时候，同一样本图文对的相似度设置为1，例如，同一样样本图文对包括样本图像和匹配的样本文本；经过训练，模型可以从样本集中习得自然语言语义与图像元素之间的映射关系。第一电子设备可分别得到样本图像与样本文本的相似度。其中，样本文本和样本图像的相似度可以用样本文本向量和样本图像向量的余旋相似度计算，其取证范围在0到1之间。

可以理解的是，经过ITC和ITM的方式对样本集进行训练之后，该多模态模型最后可以逐渐收敛，该多模态模型的输出结果和正确值的误差比较小，可以进行相对准确的图文对表示。这时，电子设备可得到光源估计模型，光源估计模型可根据图像输出该图像中待添加的虚拟光源的信息。

可选的，第一电子设备可以为算力较大，内存较大，能够处理海量数据的端侧服务器；电子设备可以是计算能力有限，能够便携使用的电子设备，例如，手机和平板等。第一电子设备也可将训练后的多模态模型进行压缩蒸馏，得到光源估计模型，并将光源估计模型同步到电子设备上，其中，光源估计模型同样拥有根据图像输出待添加的虚拟光源的信息的文本的能力，且光源估计模型规模较小。一些实施例中，第一电子设备可通过减少模型层数和/或减小模型中间层向量的维数实现模型压缩。本申请实施例对此不做限制。

下面结合图4对步骤S303中第二像素值的计算方法进行具体说明。对于第一图像中的第一像素点，根据第一像素点在第一图像中的第一像素值以及N个第一角度，得到第一像素点的N个第二像素值，具体包括下述步骤：

S401、电子设备得到第一像素点的位置和第一像素点的法向量。

第一像素点的信息可包括第一像素值和第一像素点的位置。第一图像可转化为第一图像对应的第一深度图像和第一法线图像；电子设备可基于第一深度图像得到第一像素点的位置；其中，第一深度图像用于指示第一图像中全部或部分像素点的深度信息；第一深度图像可以反映第一图像中目标对象上每一个像素点距离相机平面的距离值；第一法线图像可用于计算虚拟光线的反射方向。

下面介绍两种获取第一深度图像的方式：

方式一中，电子设备中设置有图像转换模型；图像转换模型可以是预先训练好的深度网络模型，例如，密集预测变换(dense prediction transformer，DPT)模型。图像转换模型拥有将图像转换为该图像对应的深度图像和法线图像的能力。其中，第一像素点的位置为电子设备的图像转换模型基于第一深度图像得到的，第一像素点的法向量可以为电子设备的图像转换模型基于第一法线图像得到的。

或者，方式二中，电子设备可设置有RGB摄像头和飞行时间(time of flight，TOF)摄像头；其中，RGB摄像头可用于采集第一图像，TOF摄像头可用于采集第一图像对应的深度图；第一像素点的位置也可以为电子设备使用TOF摄像头采集得到的；第一像素点的法向量可以为电子设备基于第一图像中第一像素点的位置得到的。

一些实施例中，电子设备可基于第一图像中第一像素点的位置得到第一像素点的法向量；该过程可例如：得到第一深度图像；将第一深度图像转换为第一点云图像；根据第一点云图像中第一像素点的坐标值确定第一像素点的法向量。

在第一深度图像中，第一像素点的三维向量可以为像素坐标系，例如，第一像素点的位置为[u,v,depth]，其中[u,v]可以为第一像素点的坐标，其中，u表示第一像素点在横向上的位置，v表示第一像素点在纵向上的位置，depth为第一像素点的深度值。在第一点云图像中，第一像素点的三维向量可以为世界坐标系，例如，第一像素点的位置为[x,y,z]。电子设备将第一像素点的三维向量从像素坐标系转换为世界坐标系，遍历全部或部分像素点，得到第一点云图像。电子设备可使用第一点云图像中第一像素点的位置计算得到第一像素点的法向量，例如，电子设备可采用K近邻估计法、半径近邻估计法和混合搜索邻近估计法等方法估计第一像素点的法向量。本申请实施例对此不再详细介绍。

本申请实施例仅示例性的列举了两种获取第一图像的深度信息和法向量的方法，上述方法对本申请实施例并不造成限制。

S402、对于N个虚拟光源中的第一虚拟光源，电子设备通过第一像素点的法向量与第一虚拟光源在第一像素点上的入射光线向量计算得到第一角度的余弦值。

第一虚拟光源在第一像素点上的入射光线向量，是电子设备通过第一像素点的位置和第一虚拟光源的位置得到的。

下面先以一个虚拟光源为例，结合图5对第一角度进行说明，如图5所示：

在图5中，曲线l可以为第一图像中，目标对象能够接收光照的曲面上的任一条曲线；曲线l中任一点可以为像素点，例如，第一像素点可以为A点；切线l _A 可以曲线l在A点处的切线，法线l _N 是与目标对象表面上的A点的正切平面相互垂直的法线，其中，法线l _N 垂直于切线l _A ，第一像素点的法向量可以为n。

其中，虚拟光源位于B点，A点与B点的连线可以为入射光线l _I ；反射光线l _R 为入射光线l _I 经过A点的反射后的出射光线。第一角度可以为入射光线l _I 与法线l _N 之间的夹角θ。

具体的，虚拟光源的坐标(B点坐标，例如，(a₁,b₁,c₁))和第一像素点的坐标(A点坐标，例如，(x₁,y₁,z₁))可计算得到入射光线l _I 的单位向量；通过第一像素点的法向量n与入射光线l _I 的单位向量/>的点乘得到第一角度的余弦值。

第一角度的余弦值满足下述公式：

其中，θ为第一角度，n为第一像素点的法向量，为第一虚拟光源在第一像素点处的入射光线向量；/>是电子设备通过第一像素点的位置和第一虚拟光源的位置得到的。/>

以上方法可以为一种计算第一角度的余弦值的方式；本申请实施例中，电子设备也可先得到第一角度的值，并通过第一角度计算第一角度的余弦值。本申请实施例对此不作限制。

S403、电子设备通过第一角度的余弦值得到第一虚拟光源对应的第二像素值。

第一像素点的N个第二像素值分别与N个第一角度的余弦值呈正相关。本申请实施例可通过第一角度的余弦值反映虚拟光源经第一像素点处的反射后的反射光强度。

光源估计模型可得到第一图像中的N个虚拟光源的信息，N个虚拟光源中任一虚拟光源可以为点光源，也可以是面光源。

一种可能的实现方式中，以N个虚拟光源中任一虚拟光源是第一虚拟光源为例，第一虚拟光源可以为点光源；第一虚拟光源对应的第二像素值可满足下述公式：

其中，为第一虚拟光源在第一像素点的第二像素值；/>为当给定入射方向为/>、给定反射方向为/>时，第一像素点处的反射光线的辐照度与入射光线的辐照度的比值；/>是基于第一图像的双向反射分布函数(bidirectionalreflectance distribution function，BRDF)得到的，第一图像的双向反射分布函数与第一图像的第一像素值有关；/>为第一虚拟光源的强度；X为第一像素点的位置，/>为第一像素点处的反射光线向量；/>为第一像素点处的入射光线向量，n为第一像素点处的法向量。

另一种可能的实现方式中，第一虚拟光源可以为面光源；第一像素点的第二像素值可满足下述公式：

其中，为第一虚拟光源在第一像素点的第二像素值；/>为当给定入射方向为/>、给定反射方向为/>时，第一像素点处的反射光线的辐照度与入射光线的辐照度的比值；/>为第一虚拟光源的强度；X为第一像素点的位置，/>为第一像素点处的反射光线向量；n为第一像素点处的法向量；Ω可以为第一虚拟光源在第一像素点的入射光线向量的集合，/>为第一虚拟光源到第一像素点处的立体角，/>为第一虚拟光源中任一点在第一像素点的入射光线向量。

本申请实施例中，双向反射分布函数可反映不同入射方向的光源在固定出射方向上的反射光源的通量比例，双向反射分布函数可表示目标对象的表面与光线进行反射的特性，双向反射分布函数与目标对象的材质效果有关。

电子设备可通过第一图像分析得到第一图像中目标对象表面的双向反射分布函数；可参考下述过程：对于第一像素点处的双向反射分布函数，可根据第一图像中第一像素点的法向量，给定的入射光线的方向和反射光线的方向，得到第一像素点的双向反射分布函数，其中，给定的入射光线的方向和反射光线的方向与第一像素点的第一像素值有关。

本申请实施例中，虚拟光源的原始光强可以为相同的定值，例如，N个虚拟光源的相同，电子设备通过调整N个虚拟光源的强度系数k模拟调整虚拟光源的光强。

在步骤S403中，第一角度的余弦值可直观反映第一像素点在第一虚拟光源模拟照射下的第二像素值。

S404、电子设备计算得到N个虚拟光源对应的N个第二像素值。

可以理解的是，本申请实施例中，光源估计模型可输出一个或多个虚拟光源的信息，电子设备可基于步骤S401-S403遍历任一虚拟光源，从而得到N个第二像素值。

以上实施例对本申请实施例中的图像处理方法进行说明。本申请实施例提供的图像处理方法可应用于拍照、摄影、图像编辑和直播等多种场景中，以为业余摄影师和需要补光处理的客户提供方便。

一些实施例中，电子设备可以为手机，目标对象可以为人物；电子设备可在使用摄像头拍摄人物时执行本申请实施例提供的图像处理方法。图6示出了本申请实施例提供的一种图像处理方法的界面示意图；如图6所示：

示例性的，当电子设备接收到用于启动相机应用的触发操作时，电子设备可进入图6所示的拍照预览界面。图6所示界面中包括预览画面和拍摄模式按钮。预览画面可以实时显示电子设备的摄像头捕捉的场景。拍摄模式按钮包括但不限于：“人像”按钮601、“拍照”按钮和“录像”按钮等。

当电子设备接收到针对“人像”按钮601的触发操作时，电子设备可开启用于拍摄人像的功能。当电子设备基于摄像头拍摄目标对象时，电子设备的摄像头可采集到第一图像，以及电子设备可对第一图像进行重打光，得到并存储打光后的第一图像；电子设备对第一图像进行重打光的过程可参考步骤S301-S305。后续，用户可在图库应用中查看打光后的第一图像。

另一些实施例中，电子设备在对图像进行编辑时也可使用本申请实施例提供的图像处理方法。

例如，一些图像编辑应用中可设置自动编辑的按钮，例如，电子设备可基于图库应用进入图像编辑界面；电子设备可显示图7中的a所示界面，在该界面中，包括编辑按钮701。当电子设备接收到针对编辑按钮701的触发操作时，电子设备可进入图像编辑界面，例如，图7中的b所示界面。图像编辑界面包括自动编辑的按钮，例如图7中的b所示界面显示有“一键美化”按钮702和第一图像；当电子设备接收到针对“一键美化”按钮702的触发操作时，电子设备可使用本申请实施例提供的图像处理方法对第一图像进行重打光，得到打光后的第一图像。电子设备可保存打光后的第一图像。

本申请实施例对图像处理方法所使适用的场景不再一一举例。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

上面结合图1-图7，对本申请实施例提供的图像处理方法进行了说明，下面对本申请实施例提供的执行上述方法的装置进行描述。如图8所示，图8为本申请实施例提供的一种图像处理装置的结构示意图，该图像处理装置800可以是本申请实施例中的电子设备，也可以是电子设备内的芯片或芯片系统。

如图8所示，图像处理装置800可以用于通信设备、电路、硬件组件或者芯片中，该图像处理装置800包括：处理器802、接口电路803和显示屏804。其中，显示屏804用于支持图像处理方法执行的显示的步骤；处理器802用于支持图像处理装置执行信息处理的步骤，接口电路803用于支持图像处理装置执行接收或发送的步骤。显示屏804也可称作显示单元；处理器802也可称作处理单元，接口电路803也可称作通信单元。

在一种可能的实现方式中，处理器802得到第一图像；处理器802获取第一图像的N个虚拟光源的信息，N个虚拟光源用于为第一图像进行重打光，任一个虚拟光源的信息包括虚拟光源的位置和虚拟光源的强度系数，N为大于0的整数；对于第一图像中的第一像素点，根据第一像素点在第一图像中的第一像素值以及N个第一角度，得到第一像素点的N个第二像素值，其中，N个第一角度包括N个虚拟光源的位置到第一像素点的位置的N条连线，分别与第一像素点的法线的夹角；根据N个虚拟光源的强度系数，以及N个虚拟光源各自对应的第二像素值，计算得到第一像素点的打光后像素值；处理器802更新第一图像中的第一像素点的像素值为打光后像素值。

在一种可能的实现方式中，第一像素点的N个第二像素值分别与N个第一角度的余弦值呈正相关。

在一种可能的实现方式中，对于第一图像中的第一像素点，根据第一像素点在第一图像中的第一像素值以及N个第一角度，得到第一像素点的N个第二像素值，还包括：处理器802得到第一像素点的位置和第一像素点的法向量；对于N个虚拟光源中的第一虚拟光源，处理器802通过第一像素点的法向量与第一虚拟光源在第一像素点上的入射光线向量计算得到第一角度的余弦值；第一虚拟光源在第一像素点上的入射光线向量，是处理器802通过第一像素点的位置和第一虚拟光源的位置得到的；处理器802通过第一角度的余弦值得到第一虚拟光源对应的第二像素值。

在一种可能的实现方式中，第一角度的余弦值满足下述公式：

其中，θ为第一角度，n为第一像素点的法向量，为第一虚拟光源在第一像素点处的入射光线向量；/>是处理器802通过第一像素点的位置和第一虚拟光源的位置得到的。

在一种可能的实现方式中，第一虚拟光源对应的第二像素值满足下述公式：

其中，X为第一像素点的位置，为第一像素点处的反射光线向量；/>为第一虚拟光源在第一像素点的第二像素值；/>为当给定入射方向为/>、给定反射方向为/>时，第一像素点处的反射光线的辐照度与入射光线的辐照度的比值；/>与第一图像的第一像素值有关；/>为第一虚拟光源的强度；Ω为第一虚拟光源在第一像素点的入射光线向量的集合。

在一种可能的实现方式中，处理器802得到第一图像中的第一像素点的位置和第一像素点的法向量，包括：处理器802得到第一图像的第一深度图像和第一图像的第一法线图像，其中，第一深度图像中包括第一像素点的位置，第一法线图像包括第一像素点的法向量。

在一种可能的实现方式中，第一像素点的打光后像素值满足下述公式：

其中，L为第一像素点的打光后像素值，为第i虚拟光源的强度系数，/>为第i虚拟光源在第一像素点的第二像素值。

在一种可能的实现方式中，N个虚拟光源的信息是处理器802的模型通过第一图像确定的，模型是通过样本集进行学习得到的，其中，样本集包括样本图像和样本图像对应的样本文本；任一样本图像均是基于一个或多个预设虚拟光源的信息对样本原图像进行打光后得到的，样本图像中标注有样本文本，样本文本包括预设虚拟光源的位置和预设虚拟光源的强度系数；当在模型中输入第一图像时，模型能够输出第一图像的N个虚拟光源的信息。

在一种可能的实现方式中，在处理器802得到第一图像之前，还包括：处理器802得到第二图像；处理器802识别第二图像中的目标对象，并得到目标对象的第一图像。

在一种可能的实施例中，图像处理装置还可以包括：存储器801。存储器801、处理器802、接口电路803、显示屏804通过线路相连。存储器也可称为存储单元。

存储单元801可以包括一个或者多个存储器，存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。

存储单元801可以独立存在，通过通信线路与图像处理装置具有的处理器802相连。存储单元801可以和处理器802集成在一起。

存储单元801可以存储终端设备中的方法的计算机执行指令，以使处理器802执行上述实施例中的方法。

存储单元801可以是寄存器、缓存或者RAM等，存储单元801可以和处理器802集成在一起。存储单元801可以是只读存储器（read-only memory，ROM）或者可存储静态信息和指令的其他类型的静态存储设备，存储单元801可以与处理器802相独立。

可能的实现方式中，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。

可选的，接口电路803还可以包括发送器和/或接收器。可选的，上述处理器802可以包括一个或多个CPU，还可以是其他通用处理器、数字信号处理器（digital signalprocessor，DSP）、专用集成电路（application specific integrated circuit，ASIC）等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

本申请实施例提供的图像处理方法，可以应用在具备通信功能的电子设备中。电子设备包括终端设备，终端设备的具体设备形态等可以参照上述相关说明，此处不再赘述。

本申请实施例提供一种终端设备，该终端设备包括：包括：处理器和存储器；存储器存储计算机执行指令；处理器执行存储器存储的计算机执行指令，使得终端设备执行上述方法。

本申请实施例提供一种芯片。芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行上述实施例中的技术方案。其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

本申请实施例还提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机程序。计算机程序被处理器执行时实现上述方法。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。如果在软件中实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者在计算机可读介质上传输。计算机可读介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。

一种可能的实现方式中，计算机可读介质可以包括RAM，ROM，只读光盘（compactdisc read-only memory，CD-ROM）或其它光盘存储器，磁盘存储器或其它磁存储设备，或目标于承载的任何其它介质或以指令或数据结构的形式存储所需的程序代码，并且可由计算机访问。而且，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，数字用户线（Digital SubscriberLine，DSL）或无线技术（如红外，无线电和微波）从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘，激光盘，光盘，数字通用光盘（Digital Versatile Disc，DVD），软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。

本申请实施例提供一种计算机程序产品，计算机程序产品包括计算机程序，当计算机程序被运行时，使得计算机执行上述方法。

本申请实施例是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理单元以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (9)

1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：

所述电子设备得到第一图像；

所述电子设备获取所述第一图像的N个虚拟光源的信息，所述N个虚拟光源用于为所述第一图像进行重打光，任一个所述虚拟光源的信息包括所述虚拟光源的位置和所述虚拟光源的强度系数，所述N为大于0的整数；

对于所述第一图像中的第一像素点，根据所述第一像素点在所述第一图像中的第一像素值以及N个第一角度，得到所述第一像素点的N个第二像素值，其中，所述N个第一角度包括所述N个虚拟光源的位置到所述第一像素点的位置的N条连线分别与所述第一像素点的法线的夹角；

根据N个所述虚拟光源的强度系数，以及N个所述虚拟光源各自对应的第二像素值，计算得到所述第一像素点的打光后像素值；

所述电子设备更新所述第一图像中的所述第一像素点的像素值为所述打光后像素值；

所述N个虚拟光源的信息是所述电子设备的光源估计模型通过所述第一图像确定的，所述光源估计模型是通过将样本集中的样本图文对转换为对话格式的样本图文对，并使用对话格式的样本图文对训练多模态模型得到的，其中，所述样本集中包括多个样本图文对，所述样本图文对中包括样本图像和与样本图像匹配的样本文本，所述样本图像与样本文本强相关；其中， 任一所述样本图像均是基于一个或多个预设虚拟光源的信息对样本原图像进行打光后得到的，所述样本图像中标注有所述样本文本，所述样本文本包括所述预设虚拟光源的位置和所述预设虚拟光源的强度系数；当在所述光源估计模型中输入所述第一图像时，所述光源估计模型能够输出所述第一图像的所述N个虚拟光源的信息；

对于所述第一图像中的第一像素点，根据所述第一像素点在所述第一图像中的第一像素值以及N个第一角度，得到所述第一像素点的N个第二像素值，还包括：

所述电子设备得到所述第一像素点的位置和所述第一像素点的法向量，所述第一像素点的法向量是通过将所述电子设备得到的所述第一图像的第一深度图像转换为第一点云图像，根据所述第一点云图像中第一像素点的坐标值确定的；

对于所述N个虚拟光源中的第i虚拟光源，所述电子设备通过所述第一像素点的法向量与所述第i虚拟光源在所述第一像素点上的入射光线向量计算得到所述第一角度的余弦值；所述第i虚拟光源在所述第一像素点上的入射光线向量，是所述电子设备通过所述第一像素点的位置和所述第i虚拟光源的位置得到的；

所述电子设备通过所述第一角度的余弦值得到所述第i虚拟光源对应的第二像素值。

2.根据权利要求1所述的方法，其特征在于，所述第一像素点的所述N个第二像素值分别与所述N个第一角度的余弦值呈正相关。

3.根据权利要求1所述的方法，其特征在于，所述第一角度的余弦值满足下述公式：其中，θ为所述第一角度，n为所述第一像素点的法向量，/>为所述第i虚拟光源在所述第一像素点处的入射光线向量；所述/>是所述电子设备通过所述第一像素点的位置和所述第i虚拟光源的位置得到的。

4.根据权利要求3所述的方法，其特征在于，所述第i虚拟光源对应的第二像素值满足下述公式：其中，X为所述第一像素点的位置，/>为所述第一像素点处的反射光线向量；/>为所述第i虚拟光源在所述第一像素点的第二像素值；/>为当给定入射方向为/>、给定反射方向为/>时，所述第一像素点处的反射光线的辐照度与入射光线的辐照度的比值；所述/>与所述第一图像的第一像素值有关；/>为所述第i虚拟光源的强度；Ω为所述第i虚拟光源在所述第一像素点的入射光线向量的集合。

5.根据权利要求1所述的方法，其特征在于，所述电子设备得到所述第一图像中的所述第一像素点的位置和所述第一像素点的法向量，包括：

所述电子设备得到所述第一图像的第一深度图像和所述第一图像的第一法线图像，其中，所述第一深度图像中包括所述第一像素点的位置，所述第一法线图像包括所述第一像素点的法向量。

6.根据权利要求1所述的方法，其特征在于，所述第一像素点的打光后像素值满足下述公式：其中，L为所述第一像素点的打光后像素值，/>为第i虚拟光源的强度系数，/>为第i虚拟光源在所述第一像素点的第二像素值。

7.根据权利要求1所述的方法，其特征在于，在所述电子设备得到第一图像之前，还包括：

所述电子设备得到第二图像；

所述电子设备识别所述第二图像中的目标对象，并得到所述目标对象的所述第一图像。

8.一种终端设备，其特征在于，包括：处理器和存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述终端设备执行如权利要求1-7中任一项所述的方法。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。