CN117135438A - 图像处理的方法及电子设备 - Google Patents

图像处理的方法及电子设备 Download PDF

Info

Publication number
CN117135438A
CN117135438A CN202310259940.1A CN202310259940A CN117135438A CN 117135438 A CN117135438 A CN 117135438A CN 202310259940 A CN202310259940 A CN 202310259940A CN 117135438 A CN117135438 A CN 117135438A
Authority
CN
China
Prior art keywords
image
training
glare
images
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310259940.1A
Other languages
English (en)
Inventor
姚洋
高崇军
陈兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202310259940.1A priority Critical patent/CN117135438A/zh
Publication of CN117135438A publication Critical patent/CN117135438A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像处理的方法及电子设备，涉及图像处理领域。本申请的方法包括：对获得的Raw图像可以采用第一网络模型去除眩光特征，第一网络模型的训练图像包括第一训练图像和第二训练图像，第一训练图像是基于显示图像(如RGB图像)构造的至少眩光特征的Raw图像，第二训练图像是基于显示图像构造的至少具有无眩光特征的Raw图像。采用本申请中的方法，使得可以消除图像中不同类型的眩光，提高电子设备消除图像中的眩光特征的能力。

Description

图像处理的方法及电子设备
技术领域
本申请涉及图像处理领域，尤其涉及一种图像处理的方法及电子设备。
背景技术
目前电子设备在特定光线场景下(当白天有太阳光、夜晚路灯)拍摄的图像会产生眩光问题，降低了拍摄的图像的质量，例如，图像中出现伪影、图像中的目标不清晰等。为了提高拍摄的图像的清晰度，需要消除图像中的眩光问题。目前通过对硬件结构件优化和软件优化的方式提高相机或手机模组的抗眩光能力。
然而，目前抗眩光的软件通常仅限于消除有限类型的眩光(如消除光斑)，对于其他眩光类型的消除效果差，如在夜晚场景下拍摄的图像中的眩光。
发明内容
为了解决上述技术问题，本申请提供一种图像处理的方法及电子设备，使得可以提高电子设备的抗眩光的能力。
第一方面，本申请提供一种图像处理的方法，应用于电子设备，包括：获取镜头采集到的第一Raw图像；将第一Raw图像输入第一网络模型，获得去除眩光特征的第二Raw图像，第一网络模型是基于第一训练图像集和第二训练图像集训练后获得，第一训练图像集包括多张第一训练图像，第一训练图像是基于显示图像构造的至少含有眩光特征的Raw图像；第二训练图像集包括多张第二训练图像，第二训练图像是基于显示图像构造的至少具有无眩光特征的Raw图像；电子设备根据第二Raw图像，生成目标显示图像，目标显示图像用于在电子设备的显示界面显示。
这样，第一网络模型是基于第一训练图像集和第二训练图像集训练获得，第一训练图像是基于显示图像(如RGB图像)构造的包含眩光特征的Raw图像；第二训练图像是基于RGB图像构造的不包含眩光特征的Raw图像。Raw图像中包含的图像特征多，使得基于Raw图像训练获得第一网络模型更加准确。同时，在训练网络的过程中是基于各种显示图像构造的训练图像，使得训练获得的第一网络模型可以适用于不同的眩光种类，而不限于特定的眩光种类(如可以消除消除夜晚中拍摄的图像中的眩光)，提高了去眩光的实用性，同时也提高了电子设备的抗眩光的能力，使得即使镜头的镀膜损坏，也不会急剧减弱电子设备的抗眩光能力。
根据第一方面，在获取镜头采集到的第一Raw图像之前，该方法还包括：在同一位置对同一训练场景进行拍摄，获取训练场景的至少两张第一基础图像，至少一张第一基础图像不含有眩光特征；根据每张第一基础图像，生成第一显示图像，第一显示图像为具有无眩光的特征的RGB图像；沿逆图像信号处理ISP通路对第一显示图像进行退化处理，获得第二训练图像。这样，第一显示图像是基于拍摄的真实图像构建，使得生成的该第一显示图像更加符合真实场景，基于不含眩光特征的第一基础图像构建第一显示图像，提高后续获得的第二训练图像的准确性；同时，对该第一显示图像沿逆ISP通路进行退化处理，可以快速构建出该第一显示图像的Raw图像。
根据第一方面，根据每张第一基础图像，生成第一显示图像，包括：从至少两张第一基础图像中获取第一图像；识别第一图像中每个第一眩光区域；从每个第一基础图像中获取每个第一眩光区域的第一填充区域，其中，第一填充区域不含有眩光特征；根据每个第一眩光区域的第一填充区域，填充第一图像中的每个第一眩光区域，生成第一显示图像。这样，第一眩光区域的每个第一填充区域不含眩光特征，基于该第一填充区域填充第一眩光区域，使得第一图像的第一眩光区域变为无眩光特征的区域，获得准确的无眩光特征的显示图像。
根据第一方面，从每个第一基础图像中获取每个第一眩光区域的第一填充区域，包括：获取第一眩光区域在第一图像中的第一位置信息；在每个第一基础图像中查找与第一位置信息对应的第一区域；获取不存在眩光特征的第一区域作为第一填充区域。这样，电子设备可以快速查找到与第一眩光区域对应的无眩光特征的第一填充区域。
根据第一方面，根据每个第一眩光区域的第一填充区域，填充第一图像中的每个第一眩光区域，生成第一显示图像，包括：融合第一眩光区域的每个第一填充区域，生成第一眩光区域的目标填充区域；在每个第一眩光区域填充对应的目标填充区域，生成第一显示图像。这样，通过融合第一眩光区域的每个第一填充区域，使得得到的目标填充区域不含有眩光。同时，通过多个第一填充区域进行融合，可以增加目标填充区域的特征，避免目标填充区域填充第一眩光区域后，导致填充后的该第一眩光区域的图像特征丢失减少的问题。
根据第一方面，根据每张第一基础图像，生成第一显示图像，包括：融合每张第一基础图像，获得第一融合图像；识别第一融合图像中的第二眩光区域；根据第一融合图像的第二眩光区域，从每张第一基础图像中获取与第二眩光区域匹配的第二填充区域，其中，第二填充区域不含有眩光特征；在第一融合图像中的第二眩光区域融合获取的每个第二填充区域，生成所述第一显示图像。这样，先融合各第一基础图像，使得第一融合图像中各特征均衡，弱化眩光特征；在消除第一融合图像中的第二眩光区域，使得获得的第一显示图像更加准确。
根据第一方面，在执行融合图像的操作之前，该方法还包括：对每张图像进行堆栈配准。这样，可以提高后续融合的准确性。
根据第一方面，在融合第一眩光区域的每个第一填充区域，生成第一眩光区域的目标填充区域之后，该方法还包括：根据第一眩光区域的亮度，调整每个目标填充区域的亮度。这样，调整目标填充区域的亮度，使得后目标填充区域与第一图像的亮度不会出现冲突，提高后续获得的第一显示图像整体的显示效果。
根据第一方面，在第一融合图像中的第二眩光区域融合获取的每个第二填充区域，生成第一显示图像之前，该方法还包括：根据第二眩光区域的亮度，调整每个第二填充区域的亮度。这样，可以避免后续得到的第一显示图像的亮度出现违和的问题。
根据第一方面，在获取第一Raw图像之前，该方法还包括：根据每张第一基础图像，生成第二显示图像，第二显示图像至少包含眩光特征；沿逆ISP通路对第二显示图像进行退化处理，获得第一训练图像。这样，该方式可以快速获取准确的第一训练图像。
根据第一方面，根据每张第一基础图像，生成第二显示图像，包括：融合每张第一基础图像，生成第二显示图像。这样，通过融合的方式，可以提高第二显示图像的准确性。
根据第一方面，该第一网络模型还用于对所述第一Raw图像的第一特征进行第二图像处理，以使处理后的第一Raw图像满足预设条件，第一特征包括以下任意一种：噪声、图像的模糊度高于第一阈值、高动态范围、图像的白平衡不满足第一标准。这样，第一网络模型同时实现去眩光和对第一特征的处理，可以减小ISP通路中的开销。
根据第一方面，第一训练图像的图像还包含第一特征；该第二训练图像不包含第一特征；在获取第一Raw图像之前，该方法还包括：根据第三训练图像集和第四训练图像集，采用CNN网络训练模型进行训练，获得第一训练模型，第一训练模型用于对输入的图像进行第二图像处理，第三训练图像集包括多张第三训练图像，第三训练图像为包含第一特征的Raw图像；第四训练集包括多张第四训练图像，第四训练图像为第三训练图像经过第二图像处理后的Raw图像；根据第一训练图像集和第二训练图像集，对第一训练模型进行训练，获得所述第一网络模型。这样，第一网络模型经过两阶段训练，可以避免电子设备的第二图像处理功能的减弱的问题。
根据第一方面，第一训练图像的图像还包含第一特征；第二训练图像不包含第一特征；在获取镜头采集到的第一Raw图像之前，该方法还包括：根据第一训练图像集和第二训练图像集，采用CNN网络训练模型进行训练，获得第一网络模型。这样，直接基于第一训练图像集和第二训练图像集训练获得第一网络模型，可以减小网络模型训练的时长。
根据第一方面，在获得第二训练图像之后，该方法还包括：对第二训练图像进行多次裁剪，将裁剪后得到的多张图像添加至第二训练图像集；裁剪方式包括规则裁剪或随机裁剪。这样，可以快速增加用于训练的图像的数量。
第二方面，本申请提供了一种电子设备，包括：存储器和处理器，所述存储器与所述处理器耦合；所述存储器存储有程序指令，当程序指令由处理器执行时，使得电子设备执行第一方面以及第一方面的任意一种实现方式对应的图像处理的方法。
第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。
第三方面，本申请提供了一种计算机可读介质，用于存储计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行上述第一方面以及第一方面的任意一种实现方式所对应的图像处理的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是示例性示出的含有眩光特征的图像的示意图；
图2是示例性示出的电子设备的结构示意图；
图3是示例性示出的电子设备的软件结构示意图；
图4是示例性示出的一种图像处理的流程图；
图5是示例性示出的一种ISP的处理流程图；
图6是示例性示出的训练第一网络模型的流程图；
图7为示例性示出的电子设备对同一大楼连续拍摄的多张第一基础图像的示意图；
图8为示例性示出的电子设备生成第一显示图像的示意图；
图9为示例性示出的电子设备融合多张第一基础图像的示意图；
图10为示例性示出的电子设备生成第一显示图像的示意图；
图11为示例性示出的生成无眩光特征的Raw图像的流程图；
图12为示例性示出的生成含眩光特征的Raw图像的流程图；
图13为示例性示出的训练第一网络模型的示意图；
图14为示例性示出的另一种ISP通路示意图；
图15是示例性示出的采用本申请的图像处理的方法获得的图像的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。
在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个系统是指两个或两个以上的系统。
在对本申请实施例的技术方案说明之前，首先结合附图对本申请实施例的应用的场景进行说明。用户A可以使用手机中的拍照功能拍摄图像，在夜晚对带有发光招牌的大厦进行拍摄，获得如图1所示的图像。该图像中的“Coffee”招牌因自身发射强光，导致拍摄的图像中该“Coffee”存在眩光特征10。
眩光(Dazzle)是指视野中由于存在不适宜的亮度分布，或在空间或时间上存在极端的亮度对比，以致引起视觉不舒适和物体可见度降低的一种视觉条件。通常，眩光是由高强度光源使得多个反射面相互干扰而形成的，眩光问题的本质是光线在透镜内的折射所引起的光线的叠加。图像中的眩光在不同位置表现为不同形状、颜色的光斑。图像中存在眩光特征会导致图像出现雾化的朦胧感，对比度降低，也会导致图像曝光过度等问题。
为了解决眩光问题，可以对拍摄设备进行硬件改进，如拍摄设备的镜头上添加反射涂层(即镀膜)，镀膜技术和镀膜材料均会影响拍摄设备的抗眩光的性能。当镜头中的灰层增加或镀膜损坏时，会导致该拍摄设备的抗眩光能力急剧降低。
在一些实施例中，可以对拍摄设备进行软件改进。例如，采用两阶段方法，两阶段方式是先识别特定的光晕，再对该特定光晕所在区域进行修复。两阶段方法只能消除图像中有限类型的耀斑，且容易将局部明亮区域误识别为耀斑。再如，采用多张融合的方式去除图像中的眩光，杂散光扩散函数(Glare Spread function，“GSF”)叠加反卷积法去除图像中的眩光。该多张融合的方法和GSF叠加返卷积的方法均只能去除有限类型(如一种或两种)的眩光。
本申请实施例中提出了一种图像处理的方法，该方法可以应用于电子设备，该电子设备可以获取第一Raw图像，将第一Raw图像输入第一网络模型，由该第一网络模型对第一Raw图像进行去眩光处理，获得第二Raw图像。电子设备可以根据该第二Raw图像进行图像信号处理，获得目标显示图像。
该第一网络模型是基于第一训练图像集和第二训练图像集训练后获得，第一训练图像集包括多张第一训练图像(如100张、200张、300张、500张以上等)，该第一训练图像基于显示图像构造的至少含有眩光特征的Raw图像。第二训练图像集包括多张第二训练图像(100张、200张、300张、500张以上等)，第二训练图像是基于显示图像构造的至少具有无眩光特征的Raw图像。该显示图像为电子设备可以显示于显示屏上的图像，如显示图像为RGB(格式)图像、YUV格式的图像，本示例中，显示图像以RGB图像为例。本示例中，第二训练图像为无眩光特征的Raw图像，由于Raw图像包含的图像特征多，可以避免因图像处理过程中丢失特征，增强网络训练的准确性。另外，由于是基于RGB图像构造的含眩光特征的图像和对应的无眩光特征的图像，而不是限于某一种或几种眩光类型进行网络训练，使得该第一网络模型可以消除Raw图像中不同种类的眩光，提升电子设备抗眩光的能力，也增加了电子设备的使用场景。
图2为本申请实施例示出的一种电子设备100的结构示意图。应该理解的是，图2示出的电子设备100仅是电子设备的一个范例，并且电子设备100可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图2中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。
图3是本申请实施例的电子设备100的软件结构框图。
电子设备100的分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为三层，从上至下分别为应用程序层，应用程序框架层以及内核层。可以理解的是，图3的软件结构中的层以及各层中包含的部件，并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请不做限定。
如图3所示，应用程序层可以包括一系列应用程序包。应用程序包可以包括图像处理应用，相机，图库，日历，短消息，通话，导航，蓝牙等应用程序。应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
该图像处理应用可以对电子设备采集到的第一Raw图像进行第一图像处理，以去除该Raw图像中的眩光特征；该图像处理应用可以基于去除了眩光特征的Raw图像，获得显示图像，显示图像可以是RGB图像。可选地，第一Raw图像可以是电子设备的镜头采集获得。可选地，该图像处理应用还可以对输入的RGB图像进行处理，获得与该RGB图像对应的第一Raw图像。
图3所示，应用程序框架层可以包括窗口管理器，资源管理器，内容提供器，视图系统，电话管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
可以理解的是，图3示出的软件结构中的层以及各层中包含的部件，并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请不做限定。
图4为示例性示出的一种图像处理的流程图。该图像处理的方法可以由电子设备执行，该电子设备可以是具有显示屏的设备，如手机、平板电脑、相机等。该图像处理的过程可以包括如下步骤：
步骤401：电子设备获取第一Raw图像。
具体地，Raw图像是图像感应器(如CMOS或CCD)将捕捉到的光源信号转化为数字信号的原始数据。Raw图像为无损图像，包含了物体的光照强度和颜色等物理信息。电子设备在获取到Raw图像后，需要对Raw图像进行图像信号处理(Image Signal Processing，“ISP”)，以获得电子设备可以显示的图像，例，如RGB图像(即RGB格式的图像)或YUV图像(即YUV格式的图像)。
图5为示例性示出的ISP的流程图。如图5所示，电子设备依次对Raw图像进行坏点矫正(Defect Pixel Correction，“DPC”)，黑电平矫正(Black Level Correction，“BLC”)，镜头阴影矫正(Lens Shading Correction，“LSC”)，降噪(Noise Reduction，“NR”)，自动白平衡(Auto White Balance，“AWB”)，拜耳颜色插值(Bayer DeMosica)，颜色矫正矩阵(Color Correction Matrix，“CCM”)，伽马矫正(Gamma)。
AWB：估计红色通道和蓝色通道的增益值，通过经验分布估计。
DeMosaic：基于双线性插值法进行去马赛克。
CCM：颜色矫正解决相机传感器的滤色镜与sRGB的光谱不匹配问题。通常相机都有固定的CCM值。
Gamma是一种指数曲线，该Gamma曲线可以如公式(1)的形式表示：
其中，x的取值范围为0～1。
该电子设备对Raw图像进行ISP处理的过程可以参见现有的ISP处理流程，此处不再进行赘述。
在一些实施例中，电子设备中的图像感应器在采集到Raw图像后，可以获取该Raw图像作为第一Raw图像。可选地，电子设备也可以获取用户输入的RGB图像，也可以从其他设备获取RGB图像，例如，手机A从服务器中下载RGB图像，手机A还可以从手机B传输的RGB图像。电子设备在获取到RGB图像后，可以沿逆图像信号处理ISP通路对该RGB图像进行退化处理，获得该RGB图像对应的Raw图像，将该获得的Raw作为第一Raw图像。
本示例中，电子设备可以以手机为例进行说明。
步骤402：电子设备将第一Raw图像输入第一网络模型，获得去除眩光的第二Raw图像。
在一些实施例中，电子设备设置有第一网络模型，该第一网络模型可以用于对输入的Raw图像进行第一图像处理，第一图像处理用于去除图像中的眩光特征。
可选地，该第一网络模型还可以对输入的图像进行第二图像处理，第二图像处理用于消除输入的图像中的第一特征。该第一特征包括以下任意一种：噪声、图像的模糊度高于第一阈值、高动态范围(High-Dynamic Range，“HDR”)、图像的白平衡不满足第一标准。其中，第一阈值可以根据实际应用进行设置，例如，第一阈值为50％。可选地，电子设备可以预存不同场景的白平衡的第一标准，例如，在目光的场景下，第一标准包括：白平衡为5000K；目光灯的场景下，第一标准包括：白平衡为4000K。
当第一特征为噪声时，该第二图像处理用于去除图像中的噪声特征；当第一特征为图像的模糊度高于第一阈值，该第二图像处理用于增加该图像的清晰度。当第一特征为高动态范围，该第二图像处理用于将高动态范围的图像进行压缩，转化为低动态范围(LowDynamic Range，“LDR”)的图像。当第一特征属于图像的白平衡不满足第一标准，则第二图像处理用于将图像的白平衡调整至第一标准。
本示例中，以第一特征为噪声为例进行说明，即第二图像处理用于去除图像中的噪声。
本示例中，第一网络模型可以对输入的图像去除眩光特征以及去除噪声。图6为示例性示出的第一网络模型的训练的流程图。如图6所示，电子设备可以获取基准图像(Ground Truth)，该基准图像可以为单反相机拍摄获得的RGB图像(即图6中的基准RGB图像)，或者其他方式拍摄真实场景获得的图像。该基准RGB图像具有眩光特征且无噪声特征。
电子设备可以沿逆ISP通路对基准RGB图像进行回退处理。与图5中ISP通路的处理过程相反。如图6所示，该子设备对基准RGB图像依次进行反向动态范围压缩(ToneMapping)处理，反Gamma处理，将图像从RGB格式转为Bayer格式的处理(即图6中的RGB2Bayer处理)，获得Raw图像。其他ISP的回退过程，如DeMosaic的逆过程可以直接采样方法忽略其他两个颜色值。
其中，反Gamma曲线可以以公式(2)的形式表示：
F-1(y)＝y2.5 公式(2)；
其中，y的取值范围为0～1。
对经过反Gamma处理后的Raw图像进行反向白平衡处理。由于目前去噪声算法应用于Raw域，经过一个Raw域的AI网络实现去噪声功能。噪声在Raw域中主要有两大类，分别为shot noise和read noise。shot noise一般满足泊松分布，read noise一般满足高斯分布。因而，噪声回退(即图6中的加噪声)可以表示为泊松噪声域和高斯噪声的叠加。假设Raw图像的像素值满足如下分布：
其中，参数λread，λshot由传感器(即sensor)的数字增益和模拟增益确定，对于给定的数字增益gd和模拟增益ga，以固定的sensor读出电路的方差σ2，可以得到如下关系：
λshot＝gdga 公式(5)；
数字增益和模拟增益，一般由ISO以及曝光参数确定。
本示例中，参数λread，λshot满足如下分布的形式：
本示例中电子设备可以对经过反向白平衡处理的Raw图像进行加噪处理，获得具有噪声特征和眩光特征的Raw图像，记为Raw_1。
电子设备将构造的有噪声特征且具有眩光特征的Raw图像(即Raw_1)输入第一网络模型601中，该第一网络模型601对该Raw_1图像进行第一图像处理(即去除眩光特征)以及第二图像处理(即去除Raw_1图像中的噪声特征)，获得无噪声特征且无眩光特征的Raw图像，记为Raw_2。当电子设备获得该Raw_2图像后，可以按照正在的ISP通路对该Raw_2图像进行处理，即如图6所示，电子设备对Raw_2图像依次进行AWB处理，Bayer Demosica处理，CCM处理和Gamma处理，获得无眩光特征且无噪声特征的RGB图像。
该图6中训练该第一网络模型过程中，对输入的基准图像需要沿逆ISP通路进行退化处理，以获得包含噪声特征以及眩光特征的Raw图像。将该包含噪声特征以及眩光特征的Raw图像输入该第一网络模型，从而可以输出不包含眩光特征以及不包含噪声的Raw图像；该Raw图像在经过ISP通路的处理，即可获得无噪声且无眩光的RGB图像。
本示例中可以预先训练如图6所示的第一网络模型。该第一网络模型的训练时的输入数据可以是多张第一训练图像和第二训练图像，第一训练图像为包含眩光特征以及噪声特征的Raw图像，第二训练图像可以为不包含眩光特征且不包含噪声特征的Raw图像。为了确保训练的第一网络模型的准确性，采用真实的RGB图像构造第一训练图像和第二训练图像。
下面结合图7～8具体说明本示例中基于真实的显示图像生成的无眩光特征且无噪声特征的显示图像。
电子设备可以按照相同的拍摄角度，在同一位置连续对同一训练场景进行拍摄，获取该训练场景的至少两张第一基础图像。可选地，电子设备可以对同一场景，采用相同角度，按照每张间隔1EV的方式拍摄多张第一基础图像，1EV是曝光值的单位。例如，第一张第一基础图像的快门时间为1/10秒，第二张的快门时间为1/20秒，第三张的快门时间为1/40秒,第四张的快门时间为1/100秒，该四张第一基础图像的光圈值可以均固定为：f/2.4，ISO(International Standards Organization，感光度)均固定为2500。或者，单反可以采用自动连拍模式，连拍9张或3张。可以理解的是，第一基础图像越多，基于第一基础图像构建的无眩光特征且无噪声特征的显示图像的效果越好。
每张第一图像的ISO或快门的数值可以均不相同，也可以部分相同。相机中设置的感光度和快门均会影响进入镜头中的光线量。本示例中，可以以曝光值表征拍摄时的曝光情况(即进入镜头的光线的情况)。曝光值(Exposure Value，EV)用于表征能够给出同样曝光的所有相机光圈快门组合。例如，曝光值0对应于曝光时间为1秒而光圈为f/1.0的组合或其等效组合。图像的曝光值越小，进入镜头的光少，生成的图像的亮度低，此时光线对镜头的影响小，不易产生眩光。
举例来说，如图7所示，在夜晚，该电子设备可以在同一位置(如距离大楼B米的位置)，采用相同的拍摄角度连续对该大楼进行拍摄，且拍摄的每张第一基础图像的曝光值均不同，其中，大楼的标识“Coffee”在夜晚发亮光。即，在t1时刻～t8时刻依次拍摄8张图像，且曝光值逐渐增加，如图像701的曝光值为-6EV、图像702的曝光值为-5EV、图像703的曝光值为-4EV，图像704的曝光值为-1EV；图像705的曝光值为2EV，图像706的曝光值为3EV，图像707的曝光值为4EV，图像708的曝光值为5EV。
在一些实施例中，当电子设备获取到多张第一基础图像时，可以从多张第一基础图像选取一张作为第一图像。可选地，电子设备预先设置选取条件，如选取条件可以为亮度超过第一亮度阈值且小于第二亮度阈值和/或图像的清晰度大于第一清晰度阈值。如图7所示，电子设备检测图像708的亮度超过第一亮度阈值且小于第二亮度阈值，且检测到该图像708的清晰度大于第一清晰度阈值，则确定该图像708为第一图像。
可选地，当有多个第一基础图像满足选取条件，则可以选取清晰度最高的图像作为第一图像，也可以从满足选取条件的第一基础图像中随机选取一张作为第一图像。
可选地，电子设备还可以接收用户输入的选取指令，从多张第一基础图像中获取第一图像。例如，电子设备在获取到多张第一基础图像后，显示每张第一基础图像；响应于用户输入的选取操作，获取用户选取的图像作为第一图像。
可选地，当电子设备检测多张第一基础图像中不存在满足选取条件的图像，则显示每张第一基础图像，并提示用户选取一张图像作为第一图像；响应于用户的选取操作，获取用户选取的第一基础图像作为第一图像。
当电子设备确定第一图像之后，识别该第一图像中每个第一眩光区域，电子设备可以采用预设的眩光识别模型进行识别，眩光识别模型可以是基于深度学习后获得的模型。可选地，电子设备还可以响应于用户的识别操作，识别该第一图像中每个第一眩光区域。可选地，工程师可以预先在第一图像中添加眩光区域的标识，该电子设备可以基于工程师标注的眩光区域的标识，识别出第一图像中的第一眩光区域。
该第一图像中可以有多个第一眩光区域，如图7所示，图像708中标注了眩光区域7081和眩光区域7082(该眩光区域7081和眩光区域7081均为第一眩光区域)，该图像708中的其他眩光区域此处并未示出。
当电子设备确定第一图像中的每个第一眩光区域，可以从每个第一基础图像中获取每个第一眩光区域的第一填充区域。可选地，电子设备获取一个第一眩光区域的第一填充区域的过程如下：获取第一眩光区域在第一图像中的第一位置信息；在每个第一基础图像中查找与第一位置信息对应的第一区域；获取不存在眩光特征的第一区域作为第一填充区域。也就是说，该第一填充区域在第一基础图像中的位置与该第一眩光区域在第一图像中的位置相同，且该第一填充区域不存在眩光特征，为无眩光特征的区域。
继续参照图7，电子设备可以获取眩光区域7081在图像708中的位置信息A，在图像701中获取位置A所在的第一区域，检测到该第一区域不存在眩光特征，则将该第一区域作为该眩光区域7081的第1个第一填充区域。同理，电子设备可以在图像702中查找到该眩光区域7081的第2个第一填充区域，依次从图像703～图像707中获取该眩光区域7081的第一填充区域。由于图像706、图像707中与眩光区域7081对应的第一区域中存在眩光特征，则确定该图像706和图像707中不存在与眩光区域7081对应的第一填充区域，即该眩光区域7081可以有5个对应的第一填充区域。
电子设备可以融合第一眩光区域的所有第一填充区域，生成该第一眩光区域的目标填充区域，将该第一眩光区域的目标填充区域填充第一图像中的该第一眩光区域。可选地，每个第一填充区域的融合权重可以根据该第一眩光区域的亮度确定，例如，当检测到第一眩光区域与图像705中的第一填充区域的亮度差值最小，则可以确定图像705对应的融合权重最大；检测到第一眩光区域与图像701中的第一填充区域的亮度差值最大，则可以确定图像701对应的融合权重最小。可选地，也可以当检测到第一眩光区域与图像705中的第一填充区域的亮度差值最小，则可以确定图像705对应的融合权重最小；检测到第一眩光区域与图像701中的第一填充区域的亮度差值最大，则可以确定图像701对应的融合权重最大。可选地，也可以按照均值的方式确定每个第一填充区域的融合权重，即每个第一填充区域的融合权重均相同。
下面结合图8具体说明确定第一显示图像的过程。
图8中示出了眩光区域7081中每个第一填充区域以及眩光区域7082的每个第一填充区域。其中，眩光区域7081的第一填充区域分别为：区域8011～区域8015；眩光区域7082的第一填充区域分别为：区域8021～区域8026。本示例中，采用相同的权重融合第一填充区域，电子设备可以将区域8011～区域8015按照各自对应的权重融合，生成该眩光区域7081的目标填充区域A。将目标填充区域A填充第一图像的眩光区域7081。
同理，采用相同的权重融合眩光区域7082的每个第一填充区域，电子设备可以将区域8021～区域8026按照各自对应的权重融合，生成该眩光区域7082的目标填充区域B。将目标填充区域B填充第一图像的眩光区域7082。
该第一图像中的其他第一眩光区域参照眩光区域7081和眩光区域7082的方式填充，生成如图8中的第一显示图像809。
可选地，电子设备可以根据第一图像中的亮度，调整该第一显示图像809中的区域8091的亮度(即目标填充区域的亮度)。电子设备将调整亮度之后的图像810作为第一显示图像。
可选地，电子设备可以先对8张第一基础图像进行堆栈配准，以便从第一基础图像中获取与第一眩光区域匹配的区域作为第一眩光区域的第一填充区域。
可选地，电子设备可以在确定第一眩光区域之前，对每张第一基础图像进行堆栈配准，以提高后续各填充区域融合的准确性。可选地，堆栈配准也可以在融合之前进行。
本示例中，通过对同一场景的连续拍摄，获取不同曝光值的图像，由于曝光值低时，进入相机的镜头中的光线少，使得拍摄受到的眩光影响弱，如图像701的曝光值最小，其图像中不存在眩光特征，图像708的曝光值最大，图像708中眩光特征所占面积最大。电子设备获取满足选取条件的图像，从该图像中确定第一眩光区域，同时可以从其他第一基础图像中获取与该第一眩光区域匹配的第一填充区域，第一填充区域包括无眩光的区域。电子设备对无眩光区域进行融合，以完全消除第一眩光区域中的眩光特征。
在另一个示例中，电子设备在拍摄到多张第一基础图像之后，可以将所有的第一基础图像进行堆栈配准，融合堆栈配准后的第一基础图像，获得第一融合图像。电子设备识别第一融合图像中的第二眩光区域；根据第一融合图像的第二眩光区域，从至少两张第一基础图像中获取与第二眩光区域匹配的第二填充区域；在第一融合图像中的第二眩光区域融合获取的每个第二填充区域，生成第一显示图像。
举例来说，如图9所示，电子设备获取8张第一基础图像(即图像901～图像908)。该电子设备可以将8张第一基础图像进行堆栈配准，将堆栈配准后的8张第一基础图像进行融合，获得融合后的图像(即图像909)。可选地，融合可以按照等比例融合，即每张第一基础图像的融合权重相同。可选地，电子设备也可以根据曝光值，确定每个第一基础图像的融合权重，例如，曝光值高的第一基础图像的融合权重大于曝光值低的第一基础图像的融合权重。可选地，该电子设备也可以采用HDR技术融合该8张第一基础图像，获得第一融合图像。
电子设备可以识别该图像909中每个第二眩光区域。电子设备识别第二眩光区域的过程与图7中的描述类似，此处不再进行赘述。
该电子设备根据每个第二眩光区域在该图像909中的位置，在每个第一基础图像中查找与每个第二眩光区域匹配的第二填充区域。该查找方式与图7中的描述类似，即获取第二眩光区域在第一融合图像中的第二位置信息；在每个第一基础图像中查找与第二位置信息对应的第二区域；获取不存在眩光特征的第二区域作为第二填充区域。
图9中的图像909中示出了其中两个第一眩光区域，分别为眩光区域9091和眩光区域9092，其他眩光区域未在图9中示出。
图10中示出了眩光区域9091中每个第一填充区域以及眩光区域9092的每个第一填充区域。其中，眩光区域9091的第二填充区域分别为：区域1011、区域1021……区域1051；眩光区域9092的第二填充区域分别为：区域1012、区域1022……区域1062。可选地，由于检测到区域1051的亮度与第一融合图像中第二眩光区域9091的亮度相差最小，可以设置权重W35为最大，权重从大到小依次为W35、W34、W33、W32和W31。
同理，电子设备检测到区域1062的亮度与第一融合图像中第二眩光区域9092的亮度相差最小，可以设置权重W46为最大，权重从大到小依次为W46、W45、W44、W43、W42和W41。
同理，电子设备可以获取其他第二眩光区域的每个第二填充区域的权重，此处不再进行赘述。
在第一融合图像(即图10中的1009)中的第二眩光区域9091，按照第二眩光区域9091的每个第二填充区域的融合权重融合，在第一融合图像中的第二眩光区域9092，按照二眩光区域9092的每个第二填充区域的融合权重融合，其他第二眩光区域的每个第二填充区域按照各自的融合权重融合，即可生成该第一显示图像。也就是说，电子设备在本次融合操作时，不同的区域按照各自填充区域的融合权重进行融合。如，图10中，填充区域1011～填充区域1051按照各自的权重融合，填充区域1012～填充区域1062按照各自的权重融合，生成第一显示图像1010。
当电子设备获取到第一显示图像之后，可以该第一显示图像沿逆ISP通路进行退化处理，生成无眩光特征且无噪声特征的Raw图像。该退化处理的流程可以如图11所示，该无眩光特征且无噪声特征的RGB图像依次经过反ToneMapping，反Gamma，RGB2Bayer，反WB，获得无眩光特征且无噪声特征的Raw图像。电子设备可以将该无眩光特征且无噪声特征的Raw图像作为第二训练图像。
电子设备可以获取相机拍摄的含有眩光特征的RGB图像，由于目前的相机在进行ISP处理时，已经去除了图像中的噪声，电子设备可以对该RGB图像添加噪声。例如，可以如图6所示，将含眩光特征的RGB图像依次经过反ToneMapping，反Gamma，RGB2Bayer，反WB处理之后，向该返WB处理后的Raw图像添加噪声，生成含眩光特征且含噪声特征的Raw图像，将该含眩光特征且含噪声特征的Raw图像添加至第一训练图像集。
可选地，若相机拍摄的RGB图像包含有眩光特征且包含有噪声特征，可以直接沿逆ISP通路进行退化处理，获得含眩光特征的Raw图像。例如，如图12所示，图像A为含有眩光特征且含有噪声特征的RGB图像，电子设备依次对该图像A进行反Tone Mapping，反Gamma，RGB2bayer，反WB处理，获得包含眩光特征且含噪声特征的Raw图像。
可以理解的是，每个第一训练图像有各自对应的第二训练图像，第二训练图像为无眩光特征且无噪声特征的Raw图像。也就是说，第一训练图像与第二训练图像成对出现。
可选地，电子设备可以对该构造的无眩光特征且无噪声特征的Raw图像进行裁剪，将裁剪好的Raw图像添加至第二训练图像集中。裁剪方式可以是随机裁剪，也可以按照预设的尺寸或形状进行裁剪。电子设备同样可以对含眩光特征且含噪声特征的Raw图像进行裁剪，以获得更多的第一训练图像。例如，构建的含有眩光特征且含有噪声特征的Raw图像以及对应的无眩光特征且无噪声特征的Raw图像共300对，经过随机裁剪可以将训练数据增加至2000对，其中，可以将90％用于训练，5％用于验证，5％用于测试。
在一些实施例中，当电子设备获取到第一训练图像集和第二训练图像集时，电子设备可以根据第一训练图像集和第二训练图像训练获得第一网络模型。第一网络模型可以采用CNN网络训练模型。将多张第一训练图像输入CNN网络模型，由训练网络的编码器对该第一训练图像进行下采样，以获得第一训练图像中的图像特征；由训练网络中的解码器根据图像特征，对第一训练图像进行分类(即解码)，获得无噪声特征且无眩光特征的Raw图像。其中，在每轮网络训练后通过第二训练图像与本轮次的训练结果之间的差距，调整该CNN网络模型中的网络参数，直至该CNN网络模型收敛，得到第一网络模型。可选地，该第一网络模型中的损失函数可以采用L1 Loss(L1范数损失)。可选地，损失函数也可以包括L1Loss、Percpion Loss(感知损失函数)以及L2 Loss(L2范数损失)。其中，L1 Loss可以用于确定整图的差异，L2 Loss可以用于确定眩光区域的差异。
本示例中，网络训练是该网络的输入可以采用4通道，以便适应Raw图像每个像素的排布(即像素按照RGGB的排布形式)。例如，含有眩光特征且含有噪声特征的图像输入512*512*4通道，编码器可以采用方差为1的高斯函数进行下采样至512*512。
在一些实施例中，电子设备还可以先训练获得第一训练模型，该第一训练模型用于消除输入的Raw图像中的噪声特征。电子设备再基于第一训练图像集、第二训练图像集以及第一训练模型训练，获得第一网络模型。下面结合图13具体说明该网络训练的过程。
图13为示例性示出的一种训练第一网络模型的示意图。电子设备可以获取第三训练图像集和第四训练图像集，第三图像训练集包括多张第三训练图像(如100张、200张、300张等)，该第三训练图像为具有噪声特征的Raw图像。第四图像训练集包括多张第四训练图像(如100张、200张、300张等)，该第四训练图像为无噪声特征的Raw图像。电子设备可以基于CNN网络模型模型设置预设的初始模型。将第三训练图像输入该初始模型，该第三训练图像经过编码器的特征提取以及解码器的分类，可以获得去除噪声特征的图像。训练网络在每次网络训练后通过第四图像训练图像与本次训练结果之间的差距，不断更新网络参数，直至该网络收敛，得到第一训练模型。可选地，该第一网络模型中的损失函数可以采用L1Loss。
训练第一训练模型时，网络的学习率可以设置为10-4，超参数β1＝0.9，β2＝0.999，ε＝10-7。
继续参照图7，将第一训练模型作为网络训练中第二阶段的初始模型，即在训练的第二阶段初始时，第一训练模型的网络参数不变，降低学习率梯度。电子设备将第一训练图像输入第一训练模型，该第一训练图像经过编码器和解码器，获得无噪声特征且无眩光特征的图像。电子设备在第二阶段的每轮训练后根据第二训练图像与本轮次训练的结果之间的差异，调整第一训练模型中的网络参数，直至网络收敛。训练过程中的损失函数可以包括L1 Loss、Percpion Loss以及L2 Loss。其中，L1 Loss用于确定整图的差异，L2 Loss用于确定眩光区域的差异。
可选地，在基于第一训练模型训练第一网络模型的过程中，可以调整第一训练模型中卷积层中最后两层的参数，可以提高网络收敛的速度，提高训练速度。
电子设备存储该第一网络模型。可选地，电子设备也可以定期更新该第一网络模型。
电子设备获取到第一Raw图像之后，可以将该第一Raw图像输入该第一网络模型，获得消除眩光特征的第二Raw图像。可选地，若第一网络模型还具有消除第一特征的功能，如本示例中第一网络模型具有消除噪声的功能，那么将第一Raw图像输入该第一网络模型，可以获得无眩光特征且无噪声特征的第二Raw图像。也就是说，可以在目前ISP通路的去噪模块替换为本申请中的第一网络模型，由该第一网络模型对图像同时进行去噪和去眩光的处理，该方式不会额外增加ISP通路中的模块，降低了ISP通路的性能功耗。
步骤403：电子设备根据第二Raw图像，生成目标显示图像。
具体地，电子设备根据第二Raw图像，对该第二Raw图像进行ISP处理。
可选地，第一网络模型可以设置在ISP通路的去噪功能模块的位置，在获取第二Raw图像之后，继续沿ISP通路进行处理，例如，如图6所示，生成第二Raw图像后，该第二Raw图像进行AWB、BayerDemosaic，CCM处理以及Gamma处理，生成无噪声且无眩光的显示图像。
本示例中，电子设备同样对有“Coffee招牌的大厦进行拍摄，输出的图像如图15所示，该图15中的图像无眩光特征。
本示例中，第一网络模型是基于第一训练图像集和第二训练图像集训练获得，第一训练图像是基于RGB图像构造的包含眩光特征的Raw图像；第二训练图像是基于RGB图像构造的不包含眩光特征的Raw图像。Raw图像中包含的特征多，使得基于Raw图像训练获得第一网络模型更加准确。同时，第二训练图像是基于RGB图像构建，使得第二训练图像更加准确。此外，第一网络模型可以同时实现去噪和去眩光，使得无需在ISP通路上增加额外的模型，提高了图像处理速度，使得在增加了去眩光功能的情况下，降低了图像处理的成本。同时，在训练网络的过程中是基于各种显示图像构造的训练图像，使得训练获得的第一网络模型可以适用于不同的眩光种类，而不限于特定的眩光种类，提高了去眩光的实用性。而目前的AI算法位于YUV域，增加了ISP通路的性能功耗，不能利用Raw域中更多的图像特征信息，导致AI的去眩光的同时，会出现去眩光不自然、伪影等问题。本示例相较于目前的AI算法，由于是基于RGB域构建的无眩光特征的第一显示图像，使得基于第一显示图像构造的第二训练图像准确，由于第二训练图像为Raw图像，保留的图像特征信息更多，使得基于第二训练图像训练获得的第一网络模型可以消除不同的眩光种类，且消除自然，不会存在伪影等问题。
在一些实施例中，该第一网络模型可以为单独的模块，例如，电子设备可以在去噪处理后对图像进行去眩光功能，例如，如图14所示，在ISP通路中的去噪之后进行去眩光处理。
具体地，电子设备可以预先训练获得第一网络模型，该第一网络模型的第一训练图像为包含眩光特征的Raw图像，该二训练图像为不包含眩光特征的Raw图像。电子设备获取预设的初始模型。将第一训练图像输入该初始模型进行训练，在本轮训练完成时，根据训练结果和第二训练图像之间的差距，调整模型的网络参数，直至网络收敛，获得第一网络模型。
该方式中第一网络模型无需增加去噪功能，训练速度快。
可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的图像处理的方法。存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的图像处理的方法。
其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
本申请各个实施例的任意内容，以及同一实施例的任意内容，均可以自由组合。对上述内容的任意组合均在本申请的范围之内。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (17)

1.一种图像处理的方法，其特征在于，应用于电子设备，包括：
获取第一Raw图像；
将所述第一Raw图像输入第一网络模型，获得去除眩光特征的第二Raw图像，所述第一网络模型是基于第一训练图像集和第二训练图像集训练后获得，所述第一训练图像集包括多张第一训练图像，所述第一训练图像是基于显示图像构造的至少含有眩光特征的Raw图像；所述第二训练图像集包括多张第二训练图像，所述第二训练图像是基于所述显示图像构造的至少具有无眩光特征的Raw图像；
所述电子设备根据所述第二Raw图像，生成目标显示图像，所述目标显示图像用于在所述电子设备的显示界面显示。
2.根据权利要求1所述的方法，其特征在于，在获取镜头采集到的第一Raw图像之前，所述方法还包括：
在同一位置对同一训练场景进行拍摄，获取所述训练场景的至少两张第一基础图像，至少一张第一基础图像不含有眩光特征；
根据每张第一基础图像，生成第一显示图像，所述第一显示图像为具有无眩光的特征的RGB图像；
沿逆图像信号处理ISP通路对所述第一显示图像进行退化处理，获得所述第二训练图像。
3.根据权利要求2所述的方法，其特征在于，所述根据每张第一基础图像，生成第一显示图像，包括：
从所述至少两张第一基础图像中获取第一图像；
识别所述第一图像中每个第一眩光区域；
从每个所述第一基础图像中获取每个第一眩光区域的第一填充区域，其中，所述第一填充区域不含有眩光特征；
根据每个第一眩光区域的第一填充区域，填充所述第一图像中的每个第一眩光区域，生成所述第一显示图像。
4.根据权利要求3所述的方法，其特征在于，从每个所述第一基础图像中获取每个第一眩光区域的第一填充区域，包括：
获取所述第一眩光区域在所述第一图像中的第一位置信息；
在每个所述第一基础图像中查找与所述第一位置信息对应的第一区域；
获取不存在眩光特征的第一区域作为第一填充区域。
5.根据权利要求3所述的方法，其特征在于，根据每个第一眩光区域的第一填充区域，填充所述第一图像中的每个第一眩光区域，生成所述第一显示图像，包括：
融合所述第一眩光区域的每个第一填充区域，生成所述第一眩光区域的目标填充区域；
在每个所述第一眩光区域填充对应的目标填充区域，生成所述第一显示图像。
6.根据权利要求2所述的方法，其特征在于，所述根据每张第一基础图像，生成第一显示图像，包括：
融合每张所述第一基础图像，获得第一融合图像；
识别所述第一融合图像中的第二眩光区域；
根据所述第一融合图像的第二眩光区域，从每张第一基础图像中获取与所述第二眩光区域匹配的第二填充区域，其中，所述第二填充区域不含有眩光特征；
在所述第一融合图像中的第二眩光区域融合获取的每个所述第二填充区域，生成所述第一显示图像。
7.根据权利要求5或6所述的方法，其特征在于，在执行融合图像的操作之前，所述方法还包括：
对每张图像进行堆栈配准。
8.根据权利要求5所述的方法，其特征在于，在融合所述第一眩光区域的每个第一填充区域，生成所述第一眩光区域的目标填充区域之后，所述方法还包括：
根据所述第一眩光区域的亮度，调整每个所述目标填充区域的亮度。
9.根据权利要求6所述的方法，其特征在于，在所述第一融合图像中的第二眩光区域融合获取的每个所述第二填充区域，生成所述第一显示图像之前，所述方法还包括：
根据所述第二眩光区域的亮度，调整每个所述第二填充区域的亮度。
10.根据权利要求1或2所述的方法，其特征在于，在获取第一Raw图像之前，所述方法还包括：
根据每张第一基础图像，生成第二显示图像，所述第二显示图像至少包含眩光特征；
沿逆ISP通路对所述第二显示图像进行退化处理，获得第一训练图像。
11.根据权利要求2所述的方法，其特征在于，根据每张第一基础图像，生成第二显示图像，包括：
融合每张第一基础图像，生成所述第二显示图像。
12.根据权利要求11所述的方法，其特征在于，所述第一网络模型还用于对所述第一Raw图像的第一特征进行第二图像处理，以使处理后的第一Raw图像满足预设条件，所述第一特征包括以下任意一种：噪声、图像的模糊度高于第一阈值、高动态范围、图像的白平衡不满足第一标准。
13.根据权利要求12所述的方法，其特征在于，所述第一训练图像的图像还包含第一特征；所述第二训练图像不包含所述第一特征；
在获取第一Raw图像之前，所述方法还包括：
根据第三训练图像集和第四训练图像集，采用CNN网络训练模型进行训练，获得第一训练模型，所述第一训练模型用于对输入的图像进行第二图像处理，所述第三训练图像集包括多张第三训练图像，所述第三训练图像为包含所述第一特征的Raw图像；所述第四训练集包括多张第四训练图像，所述第四训练图像为所述第三训练图像经过所述第二图像处理后的Raw图像；
根据所述第一训练图像集和所述第二训练图像集，对所述第一训练模型进行训练，获得所述第一网络模型。
14.根据权利要求12所述的方法，其特征在于，所述第一训练图像的图像还包含第一特征；所述第二训练图像不包含所述第一特征；
在获取镜头采集到的第一Raw图像之前，所述方法还包括：
根据所述第一训练图像集和所述第二训练图像集，采用CNN网络训练模型进行训练，获得所述第一网络模型。
15.根据权利要求2所述的方法，其特征在于，在获得所述第二训练图像之后，所述方法还包括：
对所述第二训练图像进行多次裁剪，将裁剪后得到的多张图像添加至所述第二训练图像集；所述裁剪方式包括规则裁剪或随机裁剪。
16.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器与所述处理器耦合；
所述存储器存储有程序指令，当所述程序指令由所述处理器执行时，使得所述电子设备执行权利要求1-15中任意一项所述的图像处理的方法。
17.一种计算机可读存储介质，包括计算机程序，其特征在于，当所述计算机程序在电子设备上运行时，使得所述电子设备执行权利要求1-15中任意一项所述的图像处理的方法。
CN202310259940.1A 2023-03-10 2023-03-10 图像处理的方法及电子设备 Pending CN117135438A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310259940.1A CN117135438A (zh) 2023-03-10 2023-03-10 图像处理的方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310259940.1A CN117135438A (zh) 2023-03-10 2023-03-10 图像处理的方法及电子设备

Publications (1)

Publication Number Publication Date
CN117135438A true CN117135438A (zh) 2023-11-28

Family

ID=88861649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310259940.1A Pending CN117135438A (zh) 2023-03-10 2023-03-10 图像处理的方法及电子设备

Country Status (1)

Country Link
CN (1) CN117135438A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993715A (zh) * 2019-04-11 2019-07-09 杨勇 一种机器人视觉图像预处理系统及图像处理方法
CN112449115A (zh) * 2020-11-25 2021-03-05 维沃移动通信（杭州）有限公司 拍摄方法、装置和电子设备
CN113518171A (zh) * 2020-03-26 2021-10-19 华为技术有限公司 图像处理方法、装置、终端设备和介质
CN114616587A (zh) * 2020-09-28 2022-06-10 谷歌有限责任公司 基于学习的镜头眩光移除
WO2022256109A1 (en) * 2021-05-31 2022-12-08 Microsoft Technology Licensing, Llc Glare removal using dual cameras

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993715A (zh) * 2019-04-11 2019-07-09 杨勇 一种机器人视觉图像预处理系统及图像处理方法
CN113518171A (zh) * 2020-03-26 2021-10-19 华为技术有限公司 图像处理方法、装置、终端设备和介质
CN114616587A (zh) * 2020-09-28 2022-06-10 谷歌有限责任公司 基于学习的镜头眩光移除
CN112449115A (zh) * 2020-11-25 2021-03-05 维沃移动通信（杭州）有限公司 拍摄方法、装置和电子设备
WO2022256109A1 (en) * 2021-05-31 2022-12-08 Microsoft Technology Licensing, Llc Glare removal using dual cameras

Similar Documents

Publication Publication Date Title
JP6066536B2 (ja) ゴーストのない高ダイナミックレンジ画像の生成
US8311355B2 (en) Skin tone aware color boost for cameras
WO2018176925A1 (zh) Hdr图像的生成方法及装置
CN116416122B (zh) 图像处理方法及其相关设备
CN115550570B (zh) 图像处理方法与电子设备
CN110706162A (zh) 一种图像处理方法、装置及计算机存储介质
CN111541937B (zh) 画质调整方法、电视机设备及计算机存储介质
CN107682611B (zh) 对焦的方法、装置、计算机可读存储介质和电子设备
CN112822413B (zh) 拍摄预览方法、装置、终端和计算机可读存储介质
US9473716B2 (en) Image processing method and image processing device
CN115633252A (zh) 拍摄方法及其相关设备
CN116055895B (zh) 图像处理方法及其装置、芯片系统和存储介质
US20190349535A1 (en) Intelligent photographing method and apparatus, and intelligent terminal
CN116668862B (zh) 图像处理方法与电子设备
CN116437222B (zh) 图像处理方法与电子设备
CN116437198B (zh) 图像处理方法与电子设备
CN117135438A (zh) 图像处理的方法及电子设备
CN109447925B (zh) 图像处理方法和装置、存储介质、电子设备
CN116452475B (zh) 图像处理方法及其相关设备
CN116051368B (zh) 图像处理方法及其相关设备
CN113709365B (zh) 图像处理方法、装置、电子设备及存储介质
CN116029914B (zh) 图像处理方法与电子设备
CN116723417B (zh) 一种图像处理方法和电子设备
CN118071658A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN114998177A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination