CN116051434A - 一种图像处理方法及相关电子设备 - Google Patents

一种图像处理方法及相关电子设备 Download PDF

Info

Publication number
CN116051434A
CN116051434A CN202210868914.4A CN202210868914A CN116051434A CN 116051434 A CN116051434 A CN 116051434A CN 202210868914 A CN202210868914 A CN 202210868914A CN 116051434 A CN116051434 A CN 116051434A
Authority
CN
China
Prior art keywords
image
light source
glare
electronic device
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210868914.4A
Other languages
English (en)
Other versions
CN116051434B (zh
Inventor
王宇
陈铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202210868914.4A priority Critical patent/CN116051434B/zh
Publication of CN116051434A publication Critical patent/CN116051434A/zh
Application granted granted Critical
Publication of CN116051434B publication Critical patent/CN116051434B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Abstract

本申请提供一种图像处理方法及相关电子设备，该方法包括：响应于第一操作，触发显示第一界面；检测第一图像中是否存在第一光源，第一图像为摄像头当前获取的图像，第一光源为在第一图像及其相邻的前N帧图像中首次出现的光源；在第一图像存在第一光源的情况下，获取第一光源的光源参数；将光源参数通过第一神经网络进行处理，得到第一眩光图像，第一眩光图像为第一光源对应的眩光效果图像；将第一眩光图像与第一图像进行融合；在第一界面上显示融合后的第一图像。

Description

一种图像处理方法及相关电子设备
技术领域
本申请涉及图像处理领域，尤其涉及一种图像处理方法及相关电子设备。
背景技术
镜头眩光是高强度光源进入照相机镜头使得多个反射面相互干扰而形成的，镜头眩光在图像中表现为光斑和光晕等眩光效果。随着图像处理技术的发展，用户使用各种图像处理工具对图像进行编辑美化以在图像中附加各种显示效果。而眩光特效是图像处理工具对图像所进行的编辑美化过程中经常被使用的一种美化特效。
具体的，由用户指定图像中的光源位置，并手动调整素材图的颜色、大小等相关参数，最终将附带了眩光效果的素材图与图像融合实现图像中的眩光效果模拟。
然而，图像中模拟的眩光效果往往会出现光斑、光晕中的颜色与图像中光源的色调不相匹配，或者光斑和光晕在图像中的位置与光源并不相符。因此，存在着模拟的眩光效果与图像中的光源不相适应，真实感不佳的问题。
发明内容
本申请实施例提供了一种图像处理方法，解决了电子设备模拟的眩光效果与图像中光源不相适应，真实感不佳的问题。
第一方面，本申请实施例提供了一种图像方法，应用于具备摄像头的电子设备，该方法包括：响应于第一操作，触发显示第一界面；检测第一图像中是否存在第一光源，第一图像为摄像头当前获取的图像，第一光源为在第一图像及其相邻的前N帧图像中首次出现的光源；在第一图像存在第一光源的情况下，获取第一光源的光源参数；将光源参数通过第一神经网络进行处理，得到第一眩光图像，第一眩光图像为第一光源对应的眩光效果图像；将第一眩光图像与第一图像进行融合；在第一界面上显示融合后的第一图像。
在上述实施例中，电子设备在拍摄过程中，在识别到图像中存在新的光源的情况下，将该光源的光源参数作为神经网络的输入，从而得到该光源的眩光图像。电子设备将光源的眩光图像与图像进行融合，从而使得融合后的图像的眩光效果更真实。
结合第一方面，在一种可能实现的方式中，触发显示第一界面之后，还包括：检测第一图像中是否存在第二光源，第二光源为在第一图像及其相邻的前N帧图像中非首次出现的光源；在第一图像存在第二光源的情况下，将第一图像与第二眩光图像进行融合；第二眩光图像为第三光源对应的眩光效果图像；第三光源为针对第二光源，在第一图像及其相邻的前N帧图像中首次出现的光源。这样，对于第一图像中的第二光源，电子设备可以直接使用历史图像中第二光源的眩光图像，不必将第二光源的参数通过第一神经网络进行处理，大大节约了电子设备的计算资源。
结合第一方面，在一种可能实现的方式中，在第一界面上显示融合后的第一图像之后，还包括：检测到针对第一目标光源的第一输入操作；第一目标光源为第一界面上显示的任意一个光源；显示第一控件；第一控件与第一目标光源相对应；检测到针对第一控件的第二输入操作；电子设备在第一界面上取消显示第一目标光源的眩光图像。
结合第一方面，在一种可能实现的方式中，检测到针对第一控件的第二输入操作之后，还包括：电子设备在第一界面上显示第二控件，第二控件与第一目标光源对应；检测到针对第二控件的第三输入操作；电子设备在第一界面上显示第一目标光源的眩光图像。
结合第一方面，在一种可能实现的方式中，将光源参数通过第一神经网络进行处理之后，还包括：电子设备通过第一神经网络输出第一目标眩光图像；电子设备将第一目标眩光图像进行色适应处理，得到第一眩光图像。这样，可以使得第一神经网络输出的眩光图像更符合人眼真实观察的颜色，加大眩光图像的真实性。
结合第一方面，在一种可能实现的方式中，电子设备将第一目标眩光图像进行色适应处理，具体包括：将第一目标眩光图像经过白平衡处理和色彩还原处理得到第一处理图像；将第一处理图像从sRGB颜色空间转换到LMS颜色空间得到第二处理图像；对第二处理图像进行色适应处理得到第三处理图像；将第三处理图像转换到sRGB颜色空间得到第一眩光图像。
结合第一方面，在一种可能实现的方式中，对第二处理图像进行色适应处理得到第三处理图像，具体包括：根据公式
Figure BDA0003760508790000021
调整第二处理图像中每个像素的LMS值；其中，CA为色适应转换矩阵，
Figure BDA0003760508790000022
为第二处理图像在LMS颜色空间中，第i个像素的LMS值，
Figure BDA0003760508790000023
为第三处理图像在LMS颜色空间中第i个像素的LMS值。
第二方面，本申请实施例提供了一种电子设备，该电子设备包括：一个或多个处理器、摄像头、显示屏和存储器；该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该电子设备执行：响应于第一操作，触发显示第一界面；检测第一图像中是否存在第一光源，第一图像为摄像头当前获取的图像，第一光源为在第一图像及其相邻的前N帧图像中首次出现的光源；在第一图像存在第一光源的情况下，获取第一光源的光源参数；将光源参数通过第一神经网络进行处理，得到第一眩光图像，第一眩光图像为第一光源对应的眩光效果图像；将第一眩光图像与第一图像进行融合；控制显示屏在第一界面上显示融合后的第一图像。
结合第二方面，在一种可能实现的方式中，该一个或多个处理器调用该计算机指令以使得该电子设备执行：检测第一图像中是否存在第二光源，第二光源为在第一图像及其相邻的前N帧图像中非首次出现的光源；在第一图像存在第二光源的情况下，将第一图像与第二眩光图像进行融合；第二眩光图像为第三光源对应的眩光效果图像；第三光源为针对第二光源，在第一图像及其相邻的前N帧图像中首次出现的光源。
结合第二方面，在一种可能实现的方式中，该一个或多个处理器调用该计算机指令以使得该电子设备执行：检测到针对第一目标光源的第一输入操作；第一目标光源为第一界面上显示的任意一个光源；控制显示屏显示第一控件；第一控件与第一目标光源相对应；检测到针对第一控件的第二输入操作；控制显示屏在第一界面上取消显示第一目标光源的眩光图像。
结合第二方面，在一种可能实现的方式中，该一个或多个处理器调用该计算机指令以使得该电子设备执行：检测到针对第一控件的第二输入操作之后，控制显示屏在第一界面上显示第二控件，第二控件与第一目标光源对应；检测到针对第二控件的第三输入操作；控制显示屏在第一界面上显示第一目标光源的眩光图像。
结合第二方面，在一种可能实现的方式中，该一个或多个处理器调用该计算机指令以使得该电子设备执行：将光源参数通过第一神经网络进行处理之后，通过第一神经网络输出第一目标眩光图像；将第一目标眩光图像进行色适应处理，得到第一眩光图像。
结合第二方面，在一种可能实现的方式中，将第一目标眩光图像进行色适应处理，具体包括：将第一目标眩光图像经过白平衡处理和色彩还原处理得到第一处理图像；将第一处理图像从sRGB颜色空间转换到LMS颜色空间得到第二处理图像；对第二处理图像进行色适应处理得到第三处理图像；将第三处理图像转换到sRGB颜色空间得到第一眩光图像。
结合第二方面，在一种可能实现的方式中，对第二处理图像进行色适应处理得到第三处理图像，具体包括：根据公式
Figure BDA0003760508790000031
调整第二处理图像中每个像素的LMS值；其中，CA为色适应转换矩阵，
Figure BDA0003760508790000032
为第二处理图像在LMS颜色空间中，第i个像素的LMS值，
Figure BDA0003760508790000033
为第三处理图像在LMS颜色空间中第i个像素的LMS值。
第三方面，本申请实施例提供了一种电子设备，包括：触控屏、摄像头、显示屏以及一个或多个处理器和一个或多个存储器；所述一个或多个处理器与所述触控屏、所述摄像头、所述一个或多个存储器耦合，所述一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得所述电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法。
第四方面，本申请实施例提供了一种芯片系统，该芯片系统应用于电子设备，该芯片系统包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法。
第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当该计算机程序产品在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法。
第六方面，本申请实施例提供了一种计算机可读存储介质，包括指令，当该指令在电子设备上运行时，使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的方法。
附图说明
图1是本申请实施例提供的一种眩光效果的示例图；
图2A-图2E是本申请实施例提供的另一组电子设备用户界面示例图；
图3A-图3C是本申请实施例提供的另一组电子设备用户界面示例图；
图4A-图4D是本申请实施例提供的另一组电子设备用户界面示例图；
图5是本申请实施例提供的一种图像处理方法的流程图；
图6是本申请实施例提供的一种神经网络训练示例图；
图7是本申请实施例提供的一种对第一眩光图像进行色适应处理的流程图；
图8是本申请实施例提供的一种电子设备计算色适应转换矩阵的流程图；
图9A-图9C是本申请实施例提供的另一组电子设备用户界面示例图；
图10是本申请实施例提供的一种电子设备100的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或者特性可以包含在本实施例申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是相同的实施例，也不是与其它实施例互斥的独立的或是备选的实施例。本领域技术人员可以显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中术语“第一”、“第二”、“第三”等是区别于不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元，或者可选地，还包括没有列出的步骤或单元，或者可选地还包括这些过程、方法、产品或设备固有的其它步骤或单元。
附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在本说明书中使用的术语“部件”、“模块”、“系统”、“单元”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件或执行中的软件。例如，单元可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或分布在两个或多个计算机之间。此外，这些单元可从在上面存储有各种数据结构的各种计算机可读介质执行。单元可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一单元交互的第二单元数据。例如，通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
在拍摄场景存在光源的情况下，由于光线在光学元件之间来回反射导致成像缺陷，从而造成图片有时会出现眩光的现象。有时，这种眩光缺陷也会被电影导演或者摄影师作为特殊的图像效果应用在视频图像画面上，从而提高视频画面或图像的视觉效果。
图1为本申请实施例提供的一种眩光效果的示例图，电子设备100在拍摄图1中的景物时，会识别该图像中的光源101(电灯)。然后，电子设备100根据光源101生成与该光源101对应的眩光效果。在图1中，区域101为所述图像的眩光效果区域。
下面，结合图2A-图4D对本申请实施例提供的一种图像处理方法的应用场景进行示例性介绍。图2A-图2E是本申请实施例提供的一组示例性的电子设备的用户界面图。
首先，结合图2A-图2E对在拍照场景下，电子设备对图像添加眩光效果的场景进行示例性地介绍。
如图2A所示，为电子设备100的主界面，在该主界面中包括相机图标201、图库图标202以及其它应用图标。当电子设备100检测到针对主界面上任意一个图标的单击操作时，响应该操作，电子设备可以启动该图标对应的应用程序，并显示该应用程序对应的界面。示例性的，当检测到针对图库图标202的单击操作后，响应该操作，电子设备100会显示图库中照片的缩略图，以便用户可以浏览图库中的图片。示例性的，电子设备100在检测到针对相机图标201的单击操作后，响应该操作后，电子设备100显示如图2B所示的拍摄界面。
如图2B所示的拍摄界面包括预览区域203、拍照控件204、眩光特效控件205。其中，预览区域用于实时显示摄像头获取的图像。在图2B中，预览区域包括电灯2031，电灯2031为拍摄环境的光源。当电子设备100检测到针对眩光特效控件205的单击操作后，响应该操作，电子设备100在预览区域203显示如图2C所示的电灯2031的眩光图像。
如图2C所示，在检测到针对眩光特效控件205的单击操作后，电子设备100在预览区域203上显示眩光图像。其中，在预览区域203上的第一区域2032为电灯2031的眩光图像对应的区域。
在一些实施例中，当电子设备检测到针对眩光效果控件205的单击操作后，电子设备100可以在预览区域203上显示与电灯2031相关的眩光图像，用户可以通过移动眩光图像的位置，来得到不同具备眩光特效的图像。
如图2D所示，在预览界面上203上显示与电灯2031相关的眩光图像2033，该眩光图像2033是电子设备100检测到针对眩光特效控件205单击操作后显示的效果图像。该眩光图像2033当前所在的位置为第一位置206。当电子设备100检测到针对眩光图像2033的移动操作后，响应该操作，电子设备100将眩光图像2033移动到预览区域的目标位置。
如图2E所示，在检测到针对眩光图像2033的移动操作后，电子设备100将眩光图像2033由第一位置206移动到第二位置207。
在一些实施例中，用户可以在视频录制过程中添加眩光效果，下面，结合图3A-图3B对在视频录制过程中，电子设备100给视频添加眩光效果的场景进行示例性说明。
如图3A所示为电子设备100的拍摄界面，该拍摄界面包括预览区域301和录制控件302。其中，预览区域301用于显示摄像头实时获取的图像，在预览区域301中包括电灯3011，电灯3011为拍摄环境的光源。在检测到针对录制控件302的单击操作后，响应该操作，电子设备100开始录制视频。
如图3B所示为电子设备100录制视频的用户界面，在该界面中包括录制时间信息框303和眩光特效控件304。录制时间信息框303用于显示视频的录制时间，如图3B所示，当前视频录制时间为30s。在检测到针对眩光特效控件304的单击操作后，响应该操作，电子设备100在预览区域301上显示如图3C所示的眩光图像305。
在一些实施例中，电子设备在拍照或录制视频过程中不在图像中添加眩光特效，在拍照结束后，电子设备可以在保存的图像上添加眩光特效。
下面，结合图4A-图4D对电子设备100在保存的图片上添加眩光效果的应用场景进行示例性说明。
如图4A所示为电子设备100的主界面，在该主界面中包括相机图标401、图库图标402以及其它应用图标。检测到针对图库图标402的单击操作，响应该操作，电子设备100显示如图4B所示的用户界面40。
如图4B所示，用户界面40为电子设备100的图库界面，在该图库界面中包括多张图像的缩略图。电子设备100在检测到针对缩略图403的单击操作后，响应该操作，电子设备显示如图4C所示的图像预览界面。
如图4C所示，图像预览界面中显示的图像为缩略图403对应的图像，在该图像中包括电灯4011，该图像预览界面包括眩光特效控件404。电子设备100在检测到针对眩光特效控件404的单击操作后，响应该操作，电子设备100生成眩光效果，并显示如图4D所示的具有眩光效果的图像。
如图4D所示，在图像的电灯4011的附近，生成了眩光图像。其中，该图像的效果区域405包括电灯4011的眩光图像。
上述图2A-图4D介绍了本申请实施例提供的一种图像处理方法的应用场景。下面，结合图5对本申请实施例提供的一种图像处理方法的流程进行介绍。请参见图5，图5是本申请实施例提供的一种图像处理方法的流程图，具体流程如下：
步骤501：响应于第一操作，触发显示拍摄界面。
示例性的，第一操作可以为上述图2A中针对相机图标201的单击操作。
检测到第一操作后，电子设备会被触发启动相机应用，从而显示拍摄界面，该拍摄界面为第一界面，所述拍摄界面包括预览框。同时，电子设备会启动摄像头，摄像头在启动后会获取当前拍摄环境的图像。
示例性的，拍摄界面可以为上述图2B所示的拍摄界面。
步骤502：电子设备检测第一图像中是否存在第一光源。
具体地，第一图像为电子设备的摄像头当前获取的拍摄环境的图像。
可选地，在电子设备确定第一图像中是否存在第一光源之前，电子设备可以检测是否存在用户针对拍摄界面上眩光效果控件的单击操作，在检测到该单击操作的情况下，电子设备才会检测图像中是否存在第一光源。其中，若第一图像为摄像头获取的首帧图像，电子设备检测到第一图像中的光源为第一光源。若第一图像为非首帧图像，第一光源为在所述第一图像及其相邻的前N帧图像中，首次出现的光源。在所述第一图像及其相邻的前N帧图像中非首次出现的光源为第二光源。
示例性的，假设有相邻的5帧图像，分别为图像1～图像5，图像5为第一图像。若在图像5中，存在光源1，在图像1～图像4中不存在光源1，则光源1为图像5的第一光源。若在图像5中存在光源2，在图像1中存在光源2(图像5中的光源2的位置可以和图像1中光源2的位置相同，也可以不同)，那么光源2是图像5的第二光源。若在图像1中存在光源2，在图像5中存在尺寸比光源2大的光源3(假设，光源3的颜色和形状和光源2相同)，那么光源3也是图像5的第二光源。
因此，对于第一图像中的光源，只要在形状、尺寸以及颜色这三个参数中一个或多个与第一图像相邻的前N帧图像中的光源不一致。那么，该光源为第一图像的第一光源。其中，所述N可以由经验值得到，也可以由历史数据得到，还可以由实验数据得到，本申请实施例不做限制。
在一些实施例中，可以从云端服务器获取各种开启眩光效果功能的光源的光源参数。然后，可以基于这些光源参数训练第二神经网络，使得第二神经网络具备在获取光源参数后，能够判断是否开启电子设备眩光效果功能的能力。电子设备可以在获取图像的光源参数后，将光源参数作为第二神经网络的输入，第二神经网络输出标识信息，并根据该标识信息确定是否开启眩光效果功能。其中，当标识信息为第一标识时，指示开启眩光效果功能。当标识信息为第二标识时，指示不开启眩光效果功能。
在一些实施例中，电子设备在启动相机应用后自动开启眩光效果功能，自动检测图像中是否存在第一光源。本申请实施例对电子设备开启眩光效果功能的方式不做限制。
电子设备在开启眩光效果的功能后，电子设备会对其开启眩光效果功能后，从摄像头接收的首帧图像开始，检测每帧图像中是否存在第一光源。电子设备检测第一图像中是否存在第一光源的方法可以为：电子设备首先遍历第一图像中的所有像素，并计算所有像素的亮度值。然后，电子设备将亮度值大于或等于第一亮度阈值的像素确定为光源像素，将包括光源像素的数量大于或等于第一阈值的像素区域确定为光源区域。其中，第一像素阈值和第一阈值可以由经验值得到，也可以由历史数据得到，还可以由实验数据得到，本申请实施例不做限制。
在第一图像存在光源区域的情况下，电子设备获取该帧图像的光源区域的亮度值和颜色信息(例如，光源区域每个像素的RGB值)，并分别与第一图像相邻的前N帧图像的光源区域的亮度值、颜色信息以及形状信息进行对比。在当前帧图像中，若存在与第一图像相邻的前N帧图像的光源区域的亮度值、颜色信息以及形状信息一致的光源区域，则该光源区域对应的光源为第二光源。若存在与第一图像相邻的前N图像的光源区域的亮度值、颜色信息以及形状信息不一致的光源区域，则该光源区域对应的光源为第一光源，即新增加的光源。
步骤S503：在存在第一光源的情况下，电子设备将第一光源的光源参数通过第一神经网络进行处理，得到第一眩光图像。
具体地，光源参数可以包括光源的位置参数，还可以包括光源的形状参数，还可以包括光源的颜色参数。其中，光源的位置参数和光源的形状参数可以基于光源在当前帧图像中，对应的光源区域中每个像素的坐标信息得到，光源的颜色参数可以为光源对应的光源区域中每个像素的RGB值。第一神经网络输出的第一眩光图像为图像中光源的特效图像。
示例性的，如上述图2C所示，在电子设备100显示的图像中，光源为电灯2031，区域2032展示的图像为电灯2031的眩光图像。
第一神经网络是一个预先训练好的神经网络，该神经网络的训练过程可以为：在一个具有一个或多个光源的特定拍摄环境中，使用拍摄设备对该光源进行拍摄，得到多张包括光源眩光特效的图像。其中，在该拍摄环境中，光源的颜色、光源的形状、光源的大小以及光源位置是可调节的。在拍摄过程中不断调节拍摄设备的光学参数，从而得到包括光源的眩光特效的图像，这些图像为第一神经网络的训练样本图像。其中，光学设备的光学参数可以包括光圈、焦距、镀膜等参数。可以提取每张训练样本图像的眩光图像，并记录眩光图像的眩光参数，并将其作为训练样本图像的参考标识。其中，眩光参数可以包括眩光图像在训练样本图像中对应区域像素的RGB值，还可以包括眩光图像在训练样本图像中的位置信息，还可以包括眩光图像的形状信息。
可以将训练样本图像作为第一神经网络的输入，第一神经网络识别训练样本图像中的光源后，会生成并输出该光源对应的眩光图像。然后，可以将第一神经网络输出的眩光图像的眩光参数与该训练样本图像的参考标识进行对比，得到一个偏差函数F。其中，该偏差函数F用于表征第一神经网络输出的眩光图像与参考标识的偏差程度。F越大，第一神经网络输出的眩光图像与参考标识的偏差程度越大，F越小，第一神经网络输出的眩光图像与参考标识的偏差程度就越小。
然后，根据F不断调整第一神经网络的网络结构和参数，使得第一神经网络输出的眩光图像的眩光参数无限接近于该训练样本图像的参考标识。从而使得第一神经网络具备正确输出图像的眩光图像的能力。
为了便于理解，下面，结合图6对上述第一神经网络的训练过程进行说明。在图6中，图像1为训练样本图像，将图像1作为第一神经网络的输入，经过第一神经网络处理后，会输出与图像1中光源(电灯)相关的眩光图像(图像2)。将图像2与图像1的参考标识进行对比，得到偏差函数F，并根据F来调节神经网络的网络结构和参数，从而使得神经网络输出的图像2能够无限接近于参考标识。其中，图像1的参考标识为在使用拍摄设备对图像1中的环境进行拍摄时，拍摄设备产生的关于光源的眩光图像。
可选地，在一些实施例中，在得到第一眩光图像之后，电子设备可以对第一眩光图像进行色适应处理，得到色适应处理后的第一眩光图像，从而可以使得神经网络生成的第一眩光图像更接近于人眼真实观察的效果。
下面，结合图7，对电子设备对第一眩光图像进行色适应处理的流程进行示例性地说明。请参见图7，图7为本申请实施例提供的一种对第一眩光图像进行色适应处理的流程图，具体流程如下：
步骤701：电子设备通过白平衡算法计算第一图像的白点的色度信息。
具体地，相机启动后，输出的第一图像为RAW图像，该RAW图像为第一颜色空间下的图像，第一颜色空间为RAW空间。该RAW图像为相机CMOS图像感应器或CCD图像感应器将捕捉到的光源信号转换为数字信号的原始数据，在相机输出第一图像后，电子设备可以基于白平衡算法计算第一图像的白点在RGB颜色空间中的RGB值，以及Rg和Bg，该RGB值、Rg和Bg为第一图像白点的色度信息。其中，Rgain＝1/Rg，Bgain＝1/Bg，Rgain＝G/R，Bgain＝G/B，Rgain和Bgain分别为待白平衡处理使用的R通道和B通道上的增益值，R、G、B分别为RGB通道的R值、G值和B值。
应当理解的是，电子设备可以通过传统的自动白平衡算法(例如，灰度世界算法)计算第一图像白点的色度信息，也可以通过AI自动白平衡算法计算第一图像白点的色度信息，本申请实施例对电子设备使用的白平衡算法的类型不做限制。
步骤702：电子设备将第一眩光图像进行白平衡处理和色彩还原处理，得到第一处理图像。
具体地，为了解决光源的色温等因素而导致神经网络输出的第一眩光图像发生偏色问题，电子设备需要对第一神经网络输出的第一眩光图像进行白平衡处理和色彩还原处理，从而得到第一处理图像。电子设备对第一眩光图像进行白平衡处理的具体过程为：电子设备可以通过公式(1)调节第一眩光图像中每个像素的RGB值，从而实现对该图像进行白平衡调节，公式(1)如下所示：
Figure BDA0003760508790000091
其中，
Figure BDA0003760508790000092
为第一眩光图像中，第i个像素的RGB值，
Figure BDA0003760508790000093
为白平衡调节后的第一眩光图像中，第i个像素的RGB值。
由于RGB颜色空间是一个与设备相关的RGB颜色空间，不是一个通用的颜色空间，除此之外，对第一眩光图像进行白平衡调节后，仅还原了该图像中拍摄对象的部分颜色(例如，只对图像中的白色或灰色等中性色进行还原)。因此，为了提高第一眩光图像中物体颜色的还原程度，以及将该第一眩光图像的颜色空间从设备相关的Device RGB空间转换到与设备无关的sRGB空间。电子设备需要对白平衡处理后的第一眩光图像做色彩还原处理，以提高图像的色彩还原度。电子设备可以使用颜色校正矩阵(Color Correction Matrix，CCM)对白平衡处理后的第一眩光图像进行色彩还原处理，得到第一处理图像。
电子设备可以在不同光源环境(典型的光源包括A、H、U30、TL84、D50、D65、D75等等)标定出一个大小为3x3的CCM，并存储在电子设备中。电子设备可以通过其计算的第一图像的白点的RGB值来选择对应的CCM，若白点的RGB值在两个光源之间(例如，白点的RGB值落在D50光源和D65光源之间)，CCM可以由D50光源和D65光源进行双线性插值所得到。例如，D50光源的颜色校正矩阵为CCM1，相关色温为CCT1，D60光源的颜色校正矩阵为CCM2，相关色温为CCT2，拍摄环境光源的相关色温为CCTa，电子设备可以根据公式(2)得到一个比例值g，公式(2)如下所示：
Figure BDA0003760508790000094
然后，电子设备可以根据公式(3)计算得到第一图像中白点对应的CCM：
CCM＝g*CCM1+(1-g)*CCM2   (3)
电子设备在计算出第一图像白点对应的CCM之后，电子设备可以通过公式(4)对第一眩光图像中每个像素的RGB值进行调节，得到第一处理图像，公式(4)如下所示：
Figure BDA0003760508790000095
其中，
Figure BDA0003760508790000096
为白平衡处理后的第一眩光图像的第i个像素的RGB值，
Figure BDA0003760508790000097
为第一图像中，第i个像素的RGB值。在经过白平衡处理和色彩还原处理之后，第一眩光图像(即，第一处理图像)的颜色空间为sRGB颜色空间，sRGB颜色空间为第二颜色空间。
应当理解的是，在上述实施例中，仅是对电子设备对第一眩光图像进行白平衡处理和色彩还原处理进行示例性的说明。电子设备还可以通过其它方法对第一眩光图像进行白平衡处理和色彩还原处理，从而得到第一图像。本申请实施例对电子设备对第一眩光图像进行白平衡处理和色彩还原处理的方式不作限制。
步骤703：电子设备将第一处理图像从sRGB颜色空间转换到XYZ颜色空间，得到第一转换图像。
具体地，将第一眩光图像经过白平衡和色彩还原处理后解决了第一眩光图像的偏色问题。但是，由人眼不完全色适应理论可知，由于受到环境亮度和环境光源的影响，人眼不总是保持颜色恒常性，即：人眼真实观察到的物体的颜色总与物体真实的颜色有所偏差。因此，经过白平衡处理和色彩还原处理的第一眩光图像的颜色与人眼在一些环境光源下观察的颜色有所不同。为了使得图像的颜色与人眼观察到的一致，可以在LMS颜色空间上对第一处理图像进行颜色调节，使得第一处理图像的颜色符合人眼真实观察的颜色。其中，LMS颜色空间是第三颜色空间，该颜色空间是由人眼的三种锥体的响应表示的颜色空间，以其在长波长，中波长和短波长处的响应度命名。在LMS颜色空间上对图像进行色适应处理，可以使得处理后的图像的颜色更符合人眼真实观察的颜色。由于LMS颜色空间可以从XYZ颜色空间进行转换。因此，电子设备可以将第一处理图像的颜色空间从sRGB颜色空间转换到XYZ颜色空间，得到第一转换图像。
示例性的，电子设备可以通过公式(5)对第一处理图像进行转换，从而得到第一转换图像，公式(5)如下所示：
Figure BDA0003760508790000101
其中，
Figure BDA0003760508790000102
为第一处理图像中，第i个像素的RGB值，
Figure BDA0003760508790000103
为第一转换图像中，第i个像素的XYZ值。M1是一个大小为3x3的转换矩阵，该转换矩阵为sRGB转XYZ矩阵，用于将第一处理图像由sRGB颜色空间转换到XYZ颜色空间。示例性的，M1的形式可以为：
Figure BDA0003760508790000104
步骤704：电子设备将第一转换图像由XYZ颜色空间转换到LMS颜色空间，得到第二处理图像。
具体地，LMS颜色空间是由人眼的三种锥体的响应表示的颜色空间，以其在长波长，中波长和短波长处的响应度命名，在LMS颜色空间上对第一眩光图像进行色适应处理，可以使得处理后的眩光图像的颜色更符合人眼真实观察的颜色。
示例性的，电子设备可以通过公式(6)将第一转换图像由XYZ颜色空间转换到LMS颜色空间，公式(6)如下所示：
Figure BDA0003760508790000105
其中，
Figure BDA0003760508790000106
为第一转换图像在XYZ颜色空间中第i个像素的XYZ值，Mcat1为XYZ转LMS矩阵，用于将图像从XYZ颜色空间转到LMS颜色空间，
Figure BDA0003760508790000111
为第二处理图像在LMS颜色空间中第i个像素的LMS值，示例性的，Mcat1可以由公式(7)计算得到，公式(7)如下所示：
Figure BDA0003760508790000112
步骤705：电子设备在LMS颜色空间对第二处理图像进行色适应处理，得到第三处理图像。
具体地，为了使第一眩光图像颜色更符合人眼真实观察的图像颜色，电子设备需要对第二处理图像进行色适应的处理，使得处理后的图像的颜色符合人眼不完全色适应理论，更接近人眼真实观察的颜色。电子设备可以通过色适应转换矩阵CA对在LMS颜色空间下的第二处理图像进行色适应处理，从而得到第三处理图像。
下面，结合图8，对电子设备计算色适应转换矩阵的具体流程进行说明，请参见图8，图8是本申请实施例提供的一种电子设备计算色适应转换矩阵的流程图，具体流程如下：
步骤801：电子设备基于第一图像的白点在CIE xy空间中的x1值和y1值计算色适应度D。
具体地，色适应度D为色适应模型的参数，用于表征色适应模型在不同光源条件下的色适应的程度，主要由环境光源的CCT和环境的亮度La(单位为：坎德拉/平方米)决定。电子设备可以计算拍摄环境的Lv，再将Lv转换成计算La。D的取值范围为[0，1]，当D为0时，代表色适应模型对环境光源完全不色适应，即：色适应模型受环境光源CCT和La的影响，获取到的物体颜色与物体真实颜色偏差极大。当D为1时，代表色适应模型对环境光源完全色适应，即：色适应模型几乎不受环境光源CCT和La的影响，获取到的物体颜色与物体真实颜色几乎没有偏差，且色适应度D的数值越大，色适应模型的色适应程度越高。
色适应模型是研究人员通过大量实验，采集对应色数据集并进行拟合，设计得到的模拟人眼对环境色适应的模型，对应色数据集是通过心理物理学实验得到的。其中，该心理物理学实验的目的是让观察者找到两个不同照明条件下颜色匹配的对应色。例如，分别在光照条件下和参考光源下(D65光源)让观察者调节或者选择出熟悉物体的记忆色，以此获得各种光源和D65光源下的多组对应色数据。
电子设备可以通过公式(8)计算第一变量Pxy，公式(8)如下所示：
Figure BDA0003760508790000113
其中，Pxy为第一变量，用于表征第一图像的白点和参考白点的距离(本申请实施例以参考光源为D65光源为例，进行说明)，x1值和y1值分别为第一图像的白点在CIE xy空间上的x值和y值，x1用于标识第一图像的白点在CIE xy空间上的x值，y1用于标识第一图像的白点在CIE xy空间上的y值。xN和yN分别为参考白点在CIE xy空间上的x值(xN＝0.3127)，和y值(yN＝0.3290)。
第一参数包括x1值和y1值，x1值和y1值可以通过第一图像白点的RGB值得到，例如，可以通过CCM将第一图像白点的RGB值转换为第一图像白点在CIE XYZ颜色空间中的X1Y1Z1值，并基于X1Y1Z1值得到x1值和y1值，x1值和y1值的相关计算公式可以如公式(9)～公式(11)所示：
Figure BDA0003760508790000121
在计算出第一变量后，电子设备可以通过公式(12)计算第二变量Dc，公式(12)如下所示：
Figure BDA0003760508790000122
在计算出第二变量Dc之后，电子设备可以根据公式(13)计算色适应度D，公式(13)如下所示：
D＝0.96·Dc((1-e(-4.28·log La))406.5-1)+1   (13)
其中，e(-4.28·log La)为以常数e为底的指数函数，e约为2.71828。
应当理解的是，上述色适应度D的计算方法仅仅是本申请实施例对色适应度D的其中一种计算方法进行举例说明，对于色适应度D的计算方法，本申请实施例不做限制。
步骤802：电子设备基于色适应度D和第一图像白点在CIExy空间中的x1值和y1值计算目标白点在LMS颜色空间中的LcurMcurScur值。
具体地，目标白点为通过色适应算法计算得到的白点，为电子设备预测的白点，LcurMcurScur值为目标白点在LMS颜色空间下的LMS值。目标白点的LcurMcurScur值计算方法如下：
由于在XYZ颜色空间中，Y值用于指示亮度。电子设备可以根据颜色亮度需求设置Ysrc值为不同的常数m。当m＝1时，表示电子设备在计算色适应转换关系时，不调整第一眩光图像的亮度。本申请实施例以Ysrc＝1.0为例，进行说明。电子设备在确定Ysrc之后，可以根据公式(14)计算第三变量iy，公式(14)如下所示：
Figure BDA0003760508790000123
然后，电子设备根据公式(15)和公式(16)计算Ysrc＝1的情况下，第一图像的白点在XYZ颜色空间中的Xsrc值和Zsrc值，公式(15)和公式(16)如下所示：
Xsrc＝x1·Ysrc·iy   (15)；Zsrc＝Ysrc·(1-x1-y1)·iy   (16)
这样，通过公式(15)电子设备可以计算出第一图像的白点在XYZ颜色空间中的XYZ值，即：XsrcYsrcZsrc值。在计算出XsrcYsrcZsrc值之后，电子设备可以基于XsrcYsrcZsrc值得到第一图像的白点在LMS颜色空间上的LMS值，即：LsrcMsrcSsrc值。
示例性的，电子设备可以通过公式(17)计算第一图像的白点在LMS颜色空间中的LsrcMsrcSsrc值，公式(17)如下所示：
Figure BDA0003760508790000124
同理，电子设备可以根据公式(17)将参考白点(本申请实施例以参考光源为D65光源为例，进行说明)在XYZ颜色空间中的XYZ值(在D65光源下，参考白点的XYZ值分别为：0.95047、1、1.08883)转换为LMS颜色空间中的LdstMsstSdst值。
在计算出参考白点的LdstMdstSdst值以及第一图像的白点的LsrcMsrcSsrc值之后，电子设备可以计算参考白点和第一图像的白点在LMS颜色空间上的增益矩阵MGain1，电子设备可以通过公式(18)计算MGain1，公式(18)如下所示：
Figure BDA0003760508790000131
电子设备计算出增益矩阵MGain1之后，可以基于MGain1和适应度D计算目标白点在LMS中的LMS值，即：LcurMcurScur值，电子设备可以通过公式(19)计算LcurMcurScur值，通过公式(20)计算目标白点在XYZ颜色空间下的XYZ值，即：XcurYcurZcur值，公式(19)-公式(20)如下所示：
Figure BDA0003760508790000132
Figure BDA0003760508790000133
其中，(D·MGain1+1-D)为第一图像的白点和参考白点在LMS颜色空间下色适应度为D的增益矩阵。
步骤803：电子设备根据目标白点的LcurMcurScur值和参考白点的LdstMdstSdst值计算色适应转换矩阵CA。
具体地，LdstMdstSdst值为参考白点在LMS颜色空间下的LMS值，电子设备可以根据公式(21)计算色适应转换矩阵CA，该色适应转换矩阵CA为第二参数，公式(21)如下所示：
Figure BDA0003760508790000134
上述步骤801-步骤803示例性地叙述了一种电子设备计算CA矩阵的具体流程，应当理解的是，在电子设备通过白平衡算法计算光源白点的色度信息之后(电子设备执行完步骤701之后)，在电子设备对第二处理图像进行色适应处理之前，执行步骤801-步骤803。
可以理解的，根据计算过程，可以看出来，所述色适应转换矩阵CA是与LMS颜色空间相关的参数，色适应转换矩阵CA与x1值和y1值具有对应关系，色适应转换矩阵CA可以标识图像中光源在LMS颜色空间的光源信息。由于LMS颜色空间与XYZ颜色空间的存在转换关系，可以理解的，所述色适应转换矩阵CA也是与XYZ颜色空间相关的参数，色适应转换矩阵CA可以标识图像中的光源在XYZ颜色空间的光源信息。
在电子设备计算出CA矩阵后，电子设备可以通过CA矩阵调节第二处理图像的LMS值，从而得到第三处理图像。示例性的，电子设备可以通过公式(22)，调节第二处理图像在LMS颜色空间中的LMS值，得到第三处理图像，公式(22)如下所示：
Figure BDA0003760508790000135
其中，
Figure BDA0003760508790000136
为第二处理图像在LMS颜色空间中第i个像素的LMS值，
Figure BDA0003760508790000137
为第三处理图像在LMS颜色空间中第i个像素的LMS值。
步骤706：电子设备将第三处理图像从LMS颜色空间转换到XYZ颜色空间，得到第二转换图像。
示例性的，电子设备可以通过公式(23)，将第三处理图像从LMS颜色空间转换到XYZ颜色空间，得到第二转换图像，公式(23)如下所示：
Figure BDA0003760508790000141
其中，
Figure BDA0003760508790000142
为第二转换图像在XYZ颜色空间中第i个像素的XYZ值，Mcat2为LMS转XYZ矩阵，用于将图像从LMS颜色空间转到XYZ颜色空间。示例性的，可以通过公式(24)计算Mcat2，公式(24)如下所示：
Figure BDA0003760508790000143
步骤707：电子设备将第二转换图像从XYZ颜色空间转换到sRGB颜色空间，得到第三转换图像。
具体地，第二转换图像为在目标白点下的XYZ颜色空间中的图像，电子设备需要将第二转换图像由XYZ颜色空间转换到sRGB颜色空间，得到第三转换图像。示例性的，电子设备可以通过公式(25)将第三图像由XYZ颜色空间转换到sRGB颜色空间，公式(25)如下所示：
Figure BDA0003760508790000144
其中，
Figure BDA0003760508790000145
为第二转换图像在XYZ颜色空间下，第i个像素的XYZ值，
Figure BDA0003760508790000146
为第三转换图像在sRGB颜色空间下，第i个像素的RGB值。M2为将图像从XYZ颜色空间转换到sRGB颜色空间的转换矩阵，M2可以为：
Figure BDA0003760508790000147
步骤708：电子设备对第三转换图像进行RGB颜色空间图像处理，得到色适应处理后的第一眩光图像。
通过上述方法处理后的眩光图像解决了神经网络因为图像中光源的色温等因素的影响，而使得神经网络输出的第一眩光图像在视觉上与人眼真实的视觉效果不一致的问题。
步骤504：电子设备将所述第一眩光图像和所述第一图像进行融合，得到第一目标图像。
具体的，在第一神经网络输出第一光源的第一眩光图像后，将第一眩光图像和图像进行融合，得到具备眩光效果的第一目标图像。
可选地，在一些实施例中，电子设备也可以将经过色适应处理后的第一眩光图像与所述图像进行融合，得到第一目标图像。
电子设备将第一眩光图像和图像进行融合的方式可以为：电子设备确定第一光源所在像素区域中心点的像素的位置信息，该像素为第一像素，该像素的位置信息为第一坐标信息。电子设备确定第一眩光图像的中心点的像素的位置信息，第一眩光图像的中心点的像素为第二像素。电子设备将第一眩光图像和图像进行融合，且保证第一像素与第二像素重合。
在一些实施例中，在图像中存在第二光源的情况下，将第一目标光源的眩光图像与当前帧图像进行融合，从而使得当前帧图像中的第二光源也具备眩光效果。其中，第一目标光源为在前N帧图像中，与第一图像中的第二光源对应的光源。可以理解的是，第一目标光源与第二光源的区别仅在于，第一目标光源在图像中的位置与第二光源在第一图像中的位置不同。
可选地，电子设备可以基于摄像头在上一帧图像的位姿信息和在当前帧图像的位姿信息来确定第二光源的位置。电子设备还可以通过遍历当前帧图像所有的像素，通过记录第二光源对应像素区域的位置信息来确定第二光源在第一图像中的位置，还可以通过其它方法确定第二光源在第一图像中的位置，本申请实施例仅做举例说明，不做任何限制。
第二光源的眩光图像与第一图像的融合方法，可以参考上述图像与第一眩光图像的融合方法，本申请实施例在此不再赘述。电子设备在检测到第一图像存在第二光源的情况下，可以直接使用第一目标光源的眩光图像，并将该眩光图像与第一图像进行融合，不必将第二光源通过第一神经网络进行处理，从而大大节约了电子设备的计算资源。
在一些实施例中，在图像中存在多个光源的情况下，电子设备在拍摄界面的预览区域中显示带有眩光效果的图像后，当电子设备检测到针对图像中任一个光源的第一输入操作后，电子设备可以在预览界面的每个光源上显示第一控件。当电子设备检测到针对第一目标控件的第二输入操作后，响应该操作，电子设备不在预览界面上显示第二目标光源的眩光图像。其中，第二目标光源为图像上的任意一个光源，第一目标控件为第二目标光源对应的第一控件。
示例性的，如图9A所示，电子设备100当前显示的用户界面为拍摄界面，在该拍摄界面的预览区901中显示图像，在该图像中包括三个光源，分别为光源1～光源3。光源1对应眩光图像1，光源2对应眩光图像2，光源2对应眩光图像3。在检测到针对光源3的单击操作(第一输入操作)后，响应该操作，电子设备100显示如图9B所示的用户界面。
如图9B所示，在该用户界面中，出现了删除控件802(第一控件)，当电子设备100检测到针对删除控件902的单击操作(第二输入操作)。响应该操作，电子设备100显示如图9C所示的用户界面。
如图9C所示，在拍摄界面中，电子设备100不再显示光源3的眩光图像。此时，删除控件变成了眩光效果添加控件903。当电子设备100检测到针对眩光效果添加控件903的单击操作(第三输入操作)后，响应该操作，电子设备100会重新显示光源3的眩光图像。
步骤505：电子设备检测所述第一图像中是否存在第二光源。
步骤506：在所述第一图像存在第二光源的情况下，电子设备将第二眩光图像和所述图像进行融合，得到第二目标图像。
具体地，第二眩光图像为与第二光源对应的眩光图像。第二眩光图像与图像的融合方法可以参考上述第一眩光图像和图像的融合方法，在此不再赘述。
本申请实施例的一种图像处理方法，电子设备在拍摄过程中，在识别到图像中存在新的光源的情况下，将该光源的光源参数作为神经网络的输入，从而得到该光源的眩光图像。电子设备将光源的眩光图像与图像进行融合，从而使得融合后的图像的眩光效果更真实。
下面，对电子设备100的硬件结构进行介绍。
电子设备100可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digitalassistant，PDA)、增强现实(augmentedreality，AR)\虚拟现实(virtual reality，VR)设备等。本申请实施例对该电子设备100的具体类型不作特殊限制。
请参见图10，图10是本申请实施例提供的一种电子设备100的硬件结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别终端设备姿态，应用于横竖屏切换，计步器等应用。
距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。
触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid StateDisk)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
总之，以上所述仅为本发明技术方案的实施例，并非用于限定本发明的保护范围。凡根据本发明的揭露，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种图像处理方法，其特征在于，应用于具备摄像头的电子设备，所述方法包括：
响应于第一操作，触发显示第一界面；
检测第一图像中是否存在第一光源，所述第一图像为所述摄像头当前获取的图像，所述第一光源为在所述第一图像及其相邻的前N帧图像中首次出现的光源；在所述第一图像存在所述第一光源的情况下，获取所述第一光源的光源参数；
将所述光源参数通过第一神经网络进行处理，得到第一眩光图像，所述第一眩光图像为所述第一光源对应的眩光效果图像；
将所述第一眩光图像与所述第一图像进行融合；
在所述第一界面上显示融合后的第一图像。
2.如权利要求1所述的方法，其特征在于，所述触发显示第一界面之后，还包括：
检测所述第一图像中是否存在第二光源，所述第二光源为在所述第一图像及其相邻的前N帧图像中非首次出现的光源；
在所述第一图像存在所述第二光源的情况下，将所述第一图像与第二眩光图像进行融合；所述第二眩光图像为第三光源对应的眩光效果图像；所述第三光源为针对所述第二光源，在所述第一图像及其相邻的前N帧图像中首次出现的光源。
3.如权利要求2所述的方法，其特征在于，所述在所述第一界面上显示融合后的第一图像之后，还包括：
检测到针对第一目标光源的第一输入操作；所述第一目标光源为所述第一界面上显示的任意一个光源；
显示第一控件；所述第一控件与所述第一目标光源相对应；
检测到针对所述第一控件的第二输入操作；
所述电子设备在所述第一界面上取消显示所述第一目标光源的眩光图像。
4.如权利要求3所述的方法，其特征在于，所述检测到针对所述第一控件的第二输入操作之后，还包括：
所述电子设备在所述第一界面上显示第二控件，所述第二控件与所述第一目标光源对应；
检测到针对所述第二控件的第三输入操作；
所述电子设备在所述第一界面上显示所述第一目标光源的眩光图像。
5.如权利要求1-4任一项所述的方法，其特征在于，所述将所述光源参数通过第一神经网络进行处理之后，还包括：
所述电子设备通过所述第一神经网络输出第一目标眩光图像；
所述电子设备将所述第一目标眩光图像进行色适应处理，得到所述第一眩光图像。
6.如权利要求5所述的方法，其特征在于，所述电子设备将所述第一目标眩光图像进行色适应处理，具体包括：
将所述第一目标眩光图像经过白平衡处理和色彩还原处理得到第一处理图像；
将所述第一处理图像从sRGB颜色空间转换到LMS颜色空间得到第二处理图像；
对所述第二处理图像进行色适应处理得到第三处理图像；
将所述第三处理图像转换到sRGB颜色空间得到所述第一眩光图像。
7.如权利要求6所述的方法，其特征在于，所述对所述第二处理图像进行色适应处理得到第三处理图像，具体包括：
根据公式
Figure FDA0003760508780000021
调整所述第二处理图像中每个像素的LMS值；
其中，所述CA为色适应转换矩阵，所述
Figure FDA0003760508780000022
为所述第二处理图像在LMS颜色空间中，第i个像素的LMS值，所述
Figure FDA0003760508780000023
为所述第三处理图像在LMS颜色空间中第i个像素的LMS值。
8.一种电子设备，其特征在于，包括：存储器、处理器和触控屏；其中：
所述触控屏用于显示内容；
所述存储器，用于存储计算机程序，所述计算机程序包括程序指令；
所述处理器用于调用所述程序指令，使得所述电子设备执行如权利要求1-7任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时，实现如权利要求1-7任意一项所述的方法。
CN202210868914.4A 2022-07-22 2022-07-22 一种图像处理方法及相关电子设备 Active CN116051434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210868914.4A CN116051434B (zh) 2022-07-22 2022-07-22 一种图像处理方法及相关电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210868914.4A CN116051434B (zh) 2022-07-22 2022-07-22 一种图像处理方法及相关电子设备

Publications (2)

Publication Number Publication Date
CN116051434A true CN116051434A (zh) 2023-05-02
CN116051434B CN116051434B (zh) 2023-11-14

Family

ID=86114050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210868914.4A Active CN116051434B (zh) 2022-07-22 2022-07-22 一种图像处理方法及相关电子设备

Country Status (1)

Country Link
CN (1) CN116051434B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5673082A (en) * 1995-04-10 1997-09-30 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Light-directed ranging system implementing single camera system for telerobotics applications
CN102819852A (zh) * 2012-05-31 2012-12-12 新奥特（北京）视频技术有限公司 一种在图像中生成光晕的方法
CN105608664A (zh) * 2014-11-19 2016-05-25 深圳市腾讯计算机系统有限公司 一种照片处理方法及终端
CN106296621A (zh) * 2015-05-22 2017-01-04 腾讯科技（深圳）有限公司 图像处理方法和装置
CN106406785A (zh) * 2015-07-27 2017-02-15 常州市武进区半导体照明应用技术研究院 为人机交互提供反馈光色氛围渲染的光学方法和装置
CN106504220A (zh) * 2016-08-19 2017-03-15 华为机器有限公司 一种图像处理方法及装置
CN111741214A (zh) * 2020-05-13 2020-10-02 北京迈格威科技有限公司 图像处理方法、装置及电子设备
CN114616587A (zh) * 2020-09-28 2022-06-10 谷歌有限责任公司 基于学习的镜头眩光移除
CN114758054A (zh) * 2022-02-23 2022-07-15 维沃移动通信有限公司 光斑添加方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5673082A (en) * 1995-04-10 1997-09-30 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Light-directed ranging system implementing single camera system for telerobotics applications
CN102819852A (zh) * 2012-05-31 2012-12-12 新奥特（北京）视频技术有限公司 一种在图像中生成光晕的方法
CN105608664A (zh) * 2014-11-19 2016-05-25 深圳市腾讯计算机系统有限公司 一种照片处理方法及终端
CN106296621A (zh) * 2015-05-22 2017-01-04 腾讯科技（深圳）有限公司 图像处理方法和装置
CN106406785A (zh) * 2015-07-27 2017-02-15 常州市武进区半导体照明应用技术研究院 为人机交互提供反馈光色氛围渲染的光学方法和装置
CN106504220A (zh) * 2016-08-19 2017-03-15 华为机器有限公司 一种图像处理方法及装置
CN111741214A (zh) * 2020-05-13 2020-10-02 北京迈格威科技有限公司 图像处理方法、装置及电子设备
CN114616587A (zh) * 2020-09-28 2022-06-10 谷歌有限责任公司 基于学习的镜头眩光移除
CN114758054A (zh) * 2022-02-23 2022-07-15 维沃移动通信有限公司 光斑添加方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
普璇: "基于视觉适应机制的高动态图像增强算法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 02, pages 138 - 2940 *
李祎 等: "分区非局部均值色貌模型在色调映射中的应用", 武汉大学学报 · 信息科学版, vol. 41, no. 5, pages 649 - 655 *
罗雪梅: "图像色外观再现技术研究", 中国博士学位论文全文数据库 信息科技辑, no. 11, pages 138 - 24 *

Also Published As

Publication number Publication date
CN116051434B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
US11106938B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
CN109194882A (zh) 图像处理方法、装置、电子设备及存储介质
CN112153272B (zh) 一种图像拍摄方法与电子设备
US20200322530A1 (en) Electronic device and method for controlling camera using external electronic device
CN116320771B (zh) 一种拍摄方法和电子设备
EP4072121A1 (en) Photographing method and apparatus, storage medium, and electronic device
CN115514948B (zh) 图像调节方法以及电子设备
CN116055699B (zh) 一种图像处理方法及相关电子设备
US8260083B2 (en) Image processing method and apparatus, and digital photographing apparatus using the same
EP4181510A1 (en) Chromaticity information determination method and related electronic device
CN116051434B (zh) 一种图像处理方法及相关电子设备
CN116095513B (zh) 拍照方法和相关装置
EP4228236A1 (en) Image processing method and electronic device
WO2023040725A1 (zh) 白平衡处理方法与电子设备
CN106878606A (zh) 一种基于电子设备的图像生成方法和电子设备
CN115767290A (zh) 图像处理方法和电子设备
CN111277751B (zh) 拍照方法、装置、存储介质及电子设备
JP7321772B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2021154807A1 (en) Sensor prioritization for composite image capture
CN115514947B (zh) 一种ai自动白平衡的算法和电子设备
CN116437060B (zh) 一种图像处理方法及相关电子设备
CN116668838B (zh) 图像处理方法与电子设备
US20240080568A1 (en) Electronic Device and Method for Dynamically Adjusting Exposure Parameter of Spectral Sensor
CN115914860A (zh) 一种拍摄方法及电子设备
CN115484384A (zh) 控制曝光的方法、装置与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant