CN117893449A - 图像处理方法及电子设备 - Google Patents
图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN117893449A CN117893449A CN202410299154.9A CN202410299154A CN117893449A CN 117893449 A CN117893449 A CN 117893449A CN 202410299154 A CN202410299154 A CN 202410299154A CN 117893449 A CN117893449 A CN 117893449A
- Authority
- CN
- China
- Prior art keywords
- image
- light
- score
- electronic device
- enhancement template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000009826 distribution Methods 0.000 claims abstract description 124
- 230000001502 supplementing effect Effects 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000010586 diagram Methods 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 abstract description 14
- 230000006870 function Effects 0.000 description 28
- 230000001795 light effect Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 16
- 238000000059 patterning Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 238000010295 mobile communication Methods 0.000 description 11
- 230000008439 repair process Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000007935 neutral effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001808 coupling effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法及电子设备,其中,该方法包括:首先对图像中的光线分布进行估计,根据图像的光线分布估计结果获取到第一光线增强模板图,基于第一光线增强模板图对图像进行补光,得到补光处理后的图像,在补光处理后的图像的评分小于第一阈值时,对第一光线增强模板图进行参数优化,得到第二光线增强模板图,基于第二光线增强模板图再次对图像进行补光,得到评分不小于第一阈值的补光处理后的图像并显示。实施本申请可以提升图像的补光效果。
Description
技术领域
本申请实施例涉及终端技术领域,尤其涉及图像处理方法及电子设备。
背景技术
用户在修图时可对图像中的光照效果(简称为光效)进行编辑美化,例如,用户为图像添加滤镜或添加光条。其中,滤镜会对整张图像进行全局修改,如将整张图像调亮或调暗,导致目标区域的补光效果不明显。而光条的形状和方向等较为固定,导致某些图像中补光效果不自然,如可选的光条的形状与图像中光线的形状均不匹配。由此可见,这些方式的补光效果不好,如何提升图像的补光效果是亟待解决的问题之一。
发明内容
本申请提供了一种图像处理方法及电子设备,可有效提升图像的补光效果。
第一方面,本申请实施例提供了一种图像处理方法,该方法包括:对第一图像中的光线分布进行估计,得到光线分布估计结果;基于该光线分布估计结果,获取第一光线增强模板图;基于该第一光线增强模板图对上述第一图像进行补光处理,得到第二图像;在该第二图像的图像评分小于第一阈值的情况下,对该第一光线增强模板图的光线参数进行优化,得到第二光线增强模板图;基于该第二光线增强模板图对上述第一图像进行补光处理,得到第三图像;在该第三图像的图像评分大于或等于第一阈值的情况下,输出该第三图像。
实施第一方面所描述的方法,一方面来说,可通过第一光线增强模板图对第一图像进行补光处理,并通过对补光处理得到的第二图像评分,在评分不满足条件时对第一光线增强模板图进行参数优化,以基于优化得到的第二光线增强模板图再次对第一图像进行补光处理。在这个过程中,可通过不断对补光处理后的图像评分,来优化光线增强模板图,基于不断优化的光线增强模板图对第一图像进行补光处理,可有效提升图像的补光效果。另一方面来说,初次补光处理时使用的第一光线增强模板图是基于光线分布估计结果得到的,且后续光线增强模板图是基于第一光线增强模板图进行优化的,因此能使补光处理用到的光线增强模板图中的光线分布,与第一图像中的光线分布相匹配,如光线的大体形状和方向等相似,有利于提升图像的补光效果。
在一种可能的实现方式中,上述方法还包括:将上述第二图像输入美学评分模型,得到该第二图像的美学评分;美学评分包括上述光线参数对应的评分;将该第二图像输入构图评分模型,得到该第二图像的构图评分;基于该第二图像的美学评分和该第二图像的构图评分,得到该第二图像的图像评分。
这样,可从美学和构图两个方面,对上述补光处理得到的第二图像进行评分;并且,在进行美学评分时,可获取上述光线参数对应的评分,如光线参数包括对比度、模糊度等,则可获取到第二图像的对比度评分、模糊度评分等,这样可以从图像评分中直观体现出光线参数对光线增强模板图以及第二图像的影响,从而有利于光线参数的优化。
在一种可能的实现方式中,上述基于第二图像的美学评分和第二图像的构图评分,得到第二图像的图像评分,包括:基于美学评分对应的权重对上述第二图像的美学评分进行加权,得到第一加权评分;基于构图评分对应的权重对上述第二图像的构图评分进行加权,得到第二加权评分;该构图评分对应的权重小于该美学评分对应的权重;将该第一加权评分和该第二加权评分的总和,作为该第二图像的图像评分。
由于在补光处理时,第一光线增强模板图不会对第一图像的构图作出较大的修改,会对第一图像的美学(如噪声、清晰度、对比度、亮度、饱和度、锐化和颜色等)有较大的影响,因此可为美学评分设置更大的权重,对构图评分设置更小的权重,以更关注补光对美学的影响,少关注补光对构图的影响。
在一种可能的实现方式中,上述基于光线分布估计结果,获取第一光线增强模板图,包括:基于上述光线分布估计结果,确定上述第一图像中光源的类型;基于该第一图像中光源的类型以及上述光线分布估计结果,在数据库中查找该第一图像对应的初始光线增强模板图,或者生成该第一图像对应的初始光线增强模板图;对该初始光线增强模板图进行处理,得到上述第一光线增强模板图。
这样,结合光源类型以及光线分布估计结果进行模板图查找,可减少数据库中的查找范围,以提高查找效率;或者,结合光源类型以及光线分布估计结果来生成模板图,可使自动生成的模板图的质量更高。
在一种可能的实现方式中,上述基于第一图像中光源的类型以及光线分布估计结果,在数据库中查找第一图像对应的初始光线增强模板图,或者生成第一图像对应的初始光线增强模板图,包括:基于用户设定的光线风格类型、上述第一图像中光源的类型以及上述光线分布估计结果,在数据库中查找第一图像对应的初始光线增强模板图,或者生成第一图像对应的初始光线增强模板图。
这样,在上述方式的基础上,还可支持用户对光线风格类型进行设定,从而基于设定的光线风格类型以及上述光源类型、光线分布估计结果得到更符合用户期望的初始光线增强模板图。
在一种可能的实现方式中,上述第一光线增强模板图的尺寸与上述第一图像的尺寸相同,上述第一光线增强模板图中光线所在的区域与上述第一图像中的光线分布集中区域相同,且在上述第一光线增强模板图中除上述光线所在的区域以外的区域内各个像素的亮度值为0;上述光线分布集中区域为上述第一图像中亮度值大于或等于第二阈值的像素所在的区域。
这样,可在基于第一光线增强模板图对第一图像进行补光处理时,使第一光线增强模板图能够直接与第一图像叠加,且第一光线增强模板图中的光线能够准确作用于第一图像中光线分布的集中区域,从而增强补光的准确性,提升第一图像的补光效果。
在一种可能的实现方式中,上述对第一图像中的光线分布进行估计,得到光线分布估计结果,包括:获取上述第一图像中各个像素的亮度值;基于该第一图像中各个像素的亮度值,确定该第一图像中的光线分布集中区域;光线分布集中区域中各个像素的亮度值大于或等于第二阈值;基于该光线分布集中区域中各个像素的亮度值的梯度变化,确定上述第一图像的光线分布估计结果。
这样,当第一图像中的光线分布较为杂乱时,通过第二阈值的比较,从第一图像中识别到光线分布集中区域,并过滤掉一些无关区域,然后再基于光线分布集中区域识别出光线分布估计结果,可有效提高光线分布估计结果的准确性,进而提升补光效果。
第二方面,本申请实施例提供了一种电子设备,电子设备包括一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机程序/指令,当一个或多个处理器执行计算机程序/指令令时,使得电子设备执行上述第一方面及其任一项可能的实现方式中的图像处理方法。
第三方面,本申请实施例提供了一种图像处理装置,该图像处理装置包括用于执行上述第一方面及其任一项可能的实现方式中的图像处理方法的功能/单元。
第四方面,本申请实施例提供了一种芯片系统,芯片系统应用于电子设备,芯片系统包括至少一个处理器以及接口,接口用于接收计算机程序/指令,并传输至至少一个处理器;至少一个处理器运行计算机程序/指令使得电子设备执行上述第一方面及其任一项可能的实现方式中的图像处理方法。
第五方面,本申请提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序/指令,当计算机程序/指令在电子设备上运行时,使得电子设备执行上述第一方面及其任一项可能的实现方式中的图像处理方法。
第六方面,本申请提供了一种计算机程序产品,包括计算机程序/指令,当计算机程序/指令被处理器执行时,使得电子设备执行上述第一方面及其任一项可能的实现方式中的图像处理方法。
可以理解地,上述提供的电子设备、图像处理装置、芯片系统,计算机可读存储介质,计算机程序产品所能达到的有益效果,可参考第一方面及其任一种可能的实现方式中的有益效果,此处不再赘述。
附图说明
图1是一种基于相关技术进行修图的界面示意图;
图2是本申请实施例提供的一种修图的界面示意图;
图3是本申请实施例提供的一种图像处理方法的流程示意图;
图4是本申请实施例提供的一种光线分布估计结果的图形描述示意图;
图5是本申请实施例提供的一种得到光线分布估计结果的示意图;
图6是本申请实施例提供的一种补光处理的示意图;
图7是本申请实施例提供的一种电子设备的硬件结构示意图;
图8是本申请实施例提供的一种电子设备的软件结构示意图;
图9是本申请实施例提供的一种芯片系统的结构示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请以下实施例中的术语“用户界面 (user interface,UI)”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面是通过java、可扩展标记语言(extensible markuplanguage,XML)等特定计算机语言编写的源代码,界面源代码在电子设备上经过解析,渲染,最终呈现为用户可以识别的内容。用户界面常用的表现形式是图形用户界面(graphicuser interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的时间、日期、文本、图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
为了便于理解本申请实施例提供的方案,下面对本申请实施例涉及的相关术语进行介绍:
一、美学评分和构图评分
图像的美学评分是指图像在审美上的量化度量。计算机模仿人类的审美过程来预测图像的美学质量,从而输出对图像的美学评分,其中,计算机可根据图像的一项或多项属性来分析图像的美学质量,这些属性包括但不限于图像的内容、色彩及纹理等中的一项或多项。例如,在本申请实施例中,为了衡量补光处理后对图像美学质量的影响,可以从图像的噪声、清晰度、对比度、亮度、饱和度、锐化和颜色等属性上来预测图像的美学评分。
图像的构图评分是指图像中各个元素的排布是否和谐,以及各个元素的排布是否具有视觉吸引力的量化度量。计算机可根据不同拍摄题材中的优秀构图规则来对图像的构图进行分析,优秀构图规则包括但不限于:中心构图、三分构图、黄金比例构图、三角形构图、水平构图、垂直构图、对角线构图、对称构图、弯曲构图、径向构图、消失点构图、图案构图、填框构图等中的一项或多项。当图像中各个元素的排布越符合期望的构图规则时,说明图像的构图具有视觉吸引力,更符合人们对于构图和谐的认知,因此图像可得到更高的构图评分。
二、基于对比学习的多模态大模型
多模态大模型是指能够处理和理解多种模态数据的深度学习模型,例如,这多种模态包括但不限于文本、图像、音频、视频等,多种模态数据具有关联性,例如,文本为与图像相关联的图文类型数据。在本申请实施例中,文本可以包括对图像的总体评价,或者包括对图像属性的评价,或者包括对图像的总体评价和属性评价。例如,对图像的总体评价可以是[“一张好图”,“一张坏图”];或者[“一张质量高的图”,“一张质量低的图”]等文本对。因此,将(图像,文本)对输入大模型时,就可以得到图像与文本相关联的得分,并将得分范围规范到0-1之间。比如输入文本是[“一张质量高的图”,“一张质量低的图”],输出得分为0.95,这表示输入的图整体上是一张质量不错的图;如果得分为0.01,则表示输入的图整体上是一张质量很差的图。除了对图像整体评价外,还可以对图像单个属性评价。以噪声为例,输入格式依然为(图像,文本)对,其中文本是关于噪声的描述。比如输入文本是[“一张干净的图”,“一张有噪声的图”]或者[“一张噪声低的图”,“一张噪声高的图”]。如果得分是0.98, 则表示输入图是一张清晰干净噪声低的图,如果得分是0.02,则表示输入图是一张噪声很大的图。可以理解的是,上述属性还可以为清晰度、对比度、颜色、饱和度、亮度、锐度甚至是三维立体效果、光影效果等。
多模态大模型通常是一个参数量很大的预训练模型,除了可以直接使用多模态大模型对图像进行评价外,还可以根据应用场景对多模态大模型进行微调,使得大模型评分更符合我们的预期。大模型的微调有多种方法包括但不限于提示工程(promptengineering),提示学习(prompt learning),提示微调(prompt fine-tuning)等,可通过这些方式输入提示词,从而使得多模态大模型更适用于本申请中对图像美学质量的评价。例如,如果需要多模态大模型在评分时,关注图像与噪声之间的关联度,则可在微调时输入图像以及图像中关于噪声的提示词,如针对图像A和图像B,图像A和图像B的人工标注评分分别为0.4和0.9,且提示词分别为[图像A是一张噪声高的图,图像B是一张噪声低的图],则多模态大模型可进一步学习提示词与图像,以及提示词与评分之间的关联关系,如多模态大模型学习到如果图像A的评分为0.4,则图像A是一张噪声高的图;如果图像B的评分为0.9,则图像B是一张噪声低的图。当多模态大模型微调结束后,可输入任意图像以及需要进行评分的提示词,则多模态大模型会得到图像在提示词方面相关的评分,该提示词包括但不限于图像的总体评价以及图像的单个属性,如对比度、锐度、噪声等一项或多项。
下面先对相关技术以及应用场景进行介绍:
图1示出了一种基于相关技术进行修图的界面示意图,如图1所示,界面100为电子设备的修图界面,界面100包括但不限于图像预览区域101以及修图功能区域102,其中在界面100的图像预览区域101中展示有一张风景图,该风景图包括树木以及太阳,太阳周围的虚线表示太阳附近的光线,该光线的亮度较为微弱,且该光线的亮度随着与太阳距离的增加而减弱,导致该风景图整体的光线效果不好,因此电子设备可对该风景图进行补光。修图功能区域102包括但不限于裁剪、滤镜、光效以及文字等功能控件,其中,电子设备可通过滤镜这一功能控件开启滤镜功能,或者可通过光效这一功能控件开启光效功能,从而对该风景图中的光照效果进行调整。
在一个示例中,用户选择修图功能区域102中滤镜对应的功能控件,然后电子设备展示界面103,界面103为基于滤镜进行修图的界面示意图,包括但不限于图像预览区域以及滤镜选择区域,滤镜选择区域包括但不限于无、质感、明亮、柔光和日系等滤镜的控件;当用户选择了明亮滤镜的控件时,图像预览界面可展示风景图添加明亮滤镜后的效果,如在界面103中,风景图中的线条变得更白,表示界面103中的风景图相较于界面100中的风景图更亮,这种调整更改了整个风景图的显示效果,但并没有对太阳附近的光线有补光效果。
在另一个示例中,用户选择修图功能区域102中光效对应的功能控件,然后电子设备展示界面104,界面104为基于光效进行修图的界面示意图,包括但不限于图像预览区域以及光效选择区域,光效选择区域包括但不限于无、闪耀以及百叶窗等光效的控件,其中闪耀光效是指为图像中央添加散射形光条以及几条平行光条,百叶窗光效是指为图像添加多条呈现百叶窗排列的平行光条。当用户选择了闪耀光效的控件时,图像预览界面可展示风景图添加闪耀光效后的效果,如在界面104中,风景图中央添加了散射形的虚线以及几条平行虚线,这种调整并没有使添加的光条与风景图中原本存在的光线匹配,因此补光不自然。
由上述内容可知,当前已知的这些补光方式的补光效果较差。
为了提高补光效果,本申请实施例提供了一种图像处理方法。具体地,电子设备可以对任意输入的图像进行光线分布估计,然后基于光线分布估计结果获取对应的光线增强模板图,接着基于光线增强模板图对输入图像进行补光处理,并对补光处理后得到的图像进行评分,当评分不满足输出条件时,对光线增强模板图中的光线参数进行更新,并基于更新后的光线增强模板图重新进行补光处理以及评分,重复这个过程,直至补光处理的到的图像的评分满足输出条件,则电子设备输出评分满足条件的图像。
示例地,图2示出了基于该方式进行修图的界面示意图,如图2所示,界面201为电子设备的修图界面,界面201包括但不限于图像预览区域以及修图功能区域,图像预览区域中展示有上述介绍的风景图,修图功能区域包括但不限于裁剪、滤镜、光效以及补光等功能控件,其中,电子设备可通过滤镜这一功能控件开启滤镜功能,或者可通过光效这一功能控件开启光效功能,又或者可通过补光这一功能控件开启补光功能,从而对该风景图中的光照效果进行调整。
当用户选择界面201中补光对应的功能控件之后,电子设备根据本申请提出的图像处理方法,先对该风景图中的光线分布进行分析,得到该风景图中的光线分布估计结果为近散射形分布且传播方向为由散射中央朝向散射四周(即图中的越远离太阳,虚线的颜色越浅),然后基于光线分布估计结果获取该风景图对应的光线增强模板图并进行补光处理以及参数优化,当补光处理得到的图像的评分达到预设的评分阈值之后,电子设备可展示补光处理后的风景图,如电子设备展示界面202,界面202中的图像预览区域中包括补光处理后的风景图,其中,补光处理后的风景图除了包括风景图中原本存在的光线,还包括靠近太阳添加的散射形的光线,散射形光线的方向是由中心朝向四周,因此,散射形光线与风景图中原本存在的光线耦合性好,能够取得较好的补光效果。
可选的,电子设备还可支持用户设定补光的风格类型,包括但不限于柔和、锐利、中性等风格类型,这样电子设备可基于设定的风格类型获取到更符合用户期望的光线增强模板图对图像进行补光,从而进一步提升补光效果。
可以理解的是,上述界面图仅为举例说明,本申请对具体实现时界面图的样式不作限定。
下面对本申请实施例提供的图像处理方法进行详细介绍:
图3示出了本申请实施例提供的一种图像处理方法的流程示意图,包括步骤301至步骤306,其中:
步骤301、电子设备对第一图像中的光线分布进行估计,得到光线分布估计结果。
本申请实施例中,第一图像是指用户需要进行补光处理的图像,该第一图像可以为电子设备实时拍摄得到的图像,或者该第一图像可以为电子设备本地存储的图像,或者该第一图像可以为其余设备发送给电子设备进行处理的图像等。并且,第一图像可以是一张单独的图像,还可以是从视频中截取出来的图像。本申请对第一图像的来源不作限定。
其中,对光线分布进行估计是指对光线的形状以及方向进行估计。光线的形状包括但不限于圆形、散射形、条状形、射线形、弧线形等;光线的方向是指光线的传播方向,该传播方向也可理解为光线亮度由强至弱的方向,且针对不同形状的光线,光线的方向的描述方式可以不同,例如,针对散射形光线,光线的方向可以为由散射中央朝向散射四周;针对竖直的射线形光线,光线的方向可为由上至下或者由下至上;针对倾斜的条状形光线,光线的方向可为由左上至右下,或者由右上至左下,等等。
可选的,光线分布估计结果可以采用不同类型的数据进行描述。
在一个示例中,光线分布估计结果采用文本进行描述,如光线分布估计结果为第一图像中的光线是由散射中央向散射四周传播的散射形光,由上至下传播的射线形光。
在另一个示例中,光线分布估计结果采用图形进行描述,例如,图4示出了两种光线分布估计结果,左侧的光线分布估计结果表示光线的形状为散射形,且由于散射中心的线条颜色较深、散射四周的中心线条颜色较深,表示光线方向由散射中央射向四周;右侧的光线分布估计结果表示光线的形状为射线形,且右侧图像头部线条颜色较深,底部颜色较浅,表示光线方向由上至下。
可以理解的是,上述两种描述方式仅为举例,且在以图形进行描述时,还可以有除上述示例以外的其余图形描述方式,如以箭头表示光线的方向,以图形整体的颜色渐变表示光线的方向等等。
在一种可能的实现方式中,电子设备得到光线分布估计结果的方式包括:获取第一图像中各个像素的亮度值;基于第一图像中各个像素的亮度值,确定第一图像中的光线分布集中区域;基于光线分布集中区域中各个像素的亮度值的梯度变化,确定第一图像的光线分布估计结果。
具体地,电子设备可获取第一图像的灰度图,根据第一图像的灰度图得到第一图像中各个像素的亮度值。其中,第一图像的灰度图包括第一图像中各个像素的灰度值,像素的灰度值是指像素黑白的程度,灰度值的取值可为0-255中的任一自然数,且由于像素的灰度值与像素的亮度值呈现正比关系,如一个像素的灰度值越大,则这一个像素的亮度值也越大,一个像素的灰度值越小,则这一个像素的亮度值也越小,因此电子设备可以根据不同像素的灰度值之间的大小关系,得到不同像素之间的亮度值之间的大小关系。接着,由于光的亮度在靠近光源的区域更强,在远离光源的区域逐渐减弱,因此电子设备将各个像素的亮度值与第二阈值进行比较,可以将第一图像中光线较弱的区域过滤,从而得到光线较强的光线分布集中区域。例如,光线分布集中区域中各个像素的亮度值大于或等于第二阈值。进一步地,电子设备可对光线分布集中区域中各个像素亮度值的梯度变化进行统计,从而得到第一图像的光线分布估计结果。例如,梯度变化的估计方式可以通过获取亮度值变化的等高线实现。
示例地,如图5所示,针对图2中界面201中的风景图,电子设备可根据第一图像中各个像素的亮度值(灰度值)确定光线分布集中区域为图5中的点虚线所示的范围;然后获取光线分布集中区域的等高线示意图,若等高线示意图中从线条形状呈现近散射形,且中央部分至四周部分对应的高度为h1、h2、h3、h4,h1>h2>h3>h4,则电子设备可得到光线分布估计结果为光线的形状为散射形,光线的方向为由散射中央朝向散射四周。
在另一种可能的实现方式中,电子设备中可预先存储有训练完成的光线分布估计模型,其中,在光线分布估计模型的训练过程中,训练数据可以为多组<训练图像,标注的光线分布>,光线分布估计模型根据训练图像预测光线分布,并根据标注的光线分布来修正得到的光线分布预测结果以及进行模型更新。最终,电子设备可将第一图像输入训练完成的光线分布估计模型,得到第一图像的光线分布估计结果。可选的,若标注的文本分布采用文本描述,则训练完成的光线分布估计模型输出文本描述的光线分布估计结果,若采用图形描述,则训练完成的光线分布估计模型输出图形描述的光线分布估计结果。
步骤302、电子设备基于光线分布估计结果,获取第一光线增强模板图。
在本申请实施例中,电子设备可先基于光线分布估计结果获取到初始光线增强模板图,然后再基于初始光线增强模板图得到第一光线增强模板图。
下面介绍如何得到初始光线增强模板图:
在一种可能的实现方式中,电子设备基于光线分布估计结果,确定第一图像中光源的类型;基于第一图像中光源的类型以及光线分布估计结果,在数据库中查找第一图像对应的初始光线增强模板图,或者生成第一图像对应的初始光线增强模板图。
其中,电子设备可先根据不同类型光源对应的不同光线分布,识别出第一图像中光源的类型,例如,针对由中央向四周传播的散射形的光线分布,可识别出第一图像中的光源为太阳、灯泡等点光源。可选的,电子设备可结合第一图像中的光线分布估计结果以及第一图像中的内容,来得到更为准确的第一图像中的光源类型,例如,电子设备可先根据由中央向四周传播的散射形的光线分布,确定光源为太阳、灯泡等点光源,然后再根据第一图像的内容包括一棵树以及太阳之后,确定该点光源为太阳。
接着,电子设备结合第一图像中的光源类型以及第一图像中的光线分布估计结果,在数据库中查找匹配的初始光线增强模板图,或者自动生成匹配的初始光线增强模板图。这里的匹配是指初始光线增强模板图不仅属于第一图像中光源的类型对应的模板图,且初始光线增强模板图中的光线分布与光线分布估计结果相似度超过预设的相似度阈值。
在一个示例中,电子设备可先根据第一图像中光源的类型,从数据库中查找到一批模板图,然后再根据第一图像中的光线分布估计结果从这一批模板图中选取相似度超过预设的相似度阈值的模板图作为初始光线增强模板图。例如,当光源为太阳时,太阳发出的光线呈现由中央向四周传播的散射形分布,该散射形分布包括完整的散射形、或者是部分散射形,则可先根据光源为太阳查找到数据库中存储的所有散射形的模板图,如完整的散射形、一半的散射形、或者是四分之一的散射形,然后根据第一图像中的散射形是一个完整的散射形等等,查找到初始光线增强模板图。
在另一个示例中,电子设备中可存储一个训练完成的光线增强模板生成模型,由光线增强模板生成模型结合第一图像中的光源类型以及第一图像中的光线分布估计结果,自动生成初始光线增强模板图。
可选的,电子设备还可基于用户设定的光线风格类型、第一图像中光源的类型以及光线分布估计结果,在数据库中查找第一图像对应的初始光线增强模板图,或者生成第一图像对应的初始光线增强模板图。
其中,光线风格类型包括但不限于对补光强弱、噪声、颜色、透明度、模糊度等一个或多个属性的设定,例如,电子设备提供了以下几种光线风格类型,包括但不限于柔和、锐利以及中性等,其中,柔和是指光线的噪声和细节较少,光线在视觉上看起来更加平滑但模糊,锐利是指光线的噪声和细节较多,光线在视觉上看起来更加锐利以及清晰;中性则是介于柔和与锐利之间的风格,用户可根据个人需求从柔和、锐利以及中性等中进行选择,然后电子设备在需结合上述光线分布估计结果、第一图像中光源的类型以及用户选择的光线风格类型,来获取到初始增强模板图。
示例地,电子设备可先根据第一图像中的光源类型以及第一图像中的光线分布估计结果确定出多个模板图,这多个模板图中包括视觉效果上柔和的模板图、锐利的模板图以及中性的模板图。当用户设定的光线风格类型为柔和时,电子设备选择出符合用户设定的,视觉效果上柔和的模板图,并将其作为初始光线增强模板图。或者,示例地,电子设备中存储的训练完成的光线增强模板生成模型,可结合光线风格类型、第一图像中的光源类型以及第一图像中的光线分布估计结果,生成初始光线增强模板图。
可选的,针对上述得到初始光线增强模板图的方式,电子设备可先在数据库中进行查找,若在数据库中未查找到初始光线增强模板图,则采用上述自动生成的方式,生成初始光线增强模板图。相应地,若查找到初始光线增强模板图,则无需再进行自动生成。
可以理解的是,若第一图像中不存在明显的光源,则电子设备识别出的第一图像中的光源的类型可能不准确。这样,电子设备可直接根据第一图像的光线分布估计结果来获取第一光线增强模板图。本申请不对此作出限定。示例地,电子设备可先根据第一图像的内容判断第一图像中是否存在明显的光源,若第一图像中存在明显的光源,则电子设备根据上述方式得到第一光线增强模板图,若第一图像中不存在明显的光源,则电子设备直接根据第一图像的光线分布估计结果获取第一光线增强模板图,或者电子设备可直接根据用户设定的光线风格类型以及第一图像的光线分布估计结果获取第一光线增强模板图。
进一步地,电子设备可根据获取到的初始光线增强模板图,得到第一光线增强模板图。可选的,电子设备可对初始光线增强模板图的尺寸、光线的作用区域、非光线的作用区域以及光线参数等一项或者多项进行调整,等等,以得到第一光线增强模板图。这里对于初始光线增强模板图的调整为初始调整,旨在使得到的第一光线增强模板图具有能够与第一图像直接叠加的能力。
示例地,当初始光线增强模板图的尺寸与第一图像的尺寸不一致时,电子设备可对初始光线增强模板图的尺寸进行调整,以使得到的第一光线增强模板图的尺寸与第一图像的尺寸一致。
示例地,当初始光线增强模板图中光线所在的区域与第一图像的光线分布集中区域不一致(如位置不一致)时,电子设备可对初始光线增强模板图中光线所在的区域进行调整,以使得到第一光线增强模板图中光线所在的区域与第一图像的光线分布集中区域相同。
示例地,电子设备还需设置初始光线增强模板图中的光线所在的区域以外的区域内各个像素的亮度值为0。其中,对于RGBA四通道图像而言,R表示红色,G表示绿色,B表示蓝色,A表示透明度,光线所在的区域以外的区域中各个像素的亮度值为0是指各个像素在透明度A这一通道上的取值为0,即各个像素完全透明,完全透明的像素与第一图像中的像素叠加,不会改变第一图像中像素在RGBA四通道上的值。对于RGB三通道图像而言,光线所在的区域以外的区域中各个像素的亮度值为0是指各个像素在RGB三通道上的值均等于0,当RGB三通道上的值均等于0的像素与第一图像中的像素叠加,不会改变第一图像中像素在RGB三通道上的值。
示例地,电子设备还可设置初始光线增强模板图中的光线参数,光线参数包括但不限于光线的噪声、清晰度、对比度、亮度、饱和度、锐化、颜色和大小中的一项或者多项。可选的,针对初始光线增强模板图中的光线参数的设置,电子设备中可存储有这些光线参数中的初始值,电子设备可根据初始值对初始光线增强模板图进行调整,得到第一光线增强模板图。其中,针对强度类参数,如模糊度、饱和度、亮度、锐化、对比度等参数,电子设备还可以先对这类参数进行规范化,如设置其范围为[-1,1],其中-1表示强度最弱,0表示不做调整,1表示强度最强。
步骤303、电子设备基于第一光线增强模板图对第一图像进行补光处理,得到第二图像。
在本申请实施例中,电子设备基于第一光线增强模板图对第一图像进行补光处理是指:电子设备将第一光线增强模板图叠加至第一图像上,来得到第二图像。示例地。如图6所示,电子设备将第一光线增强模板图与第一图像进行叠加,由于第一光线增强模板图的尺寸与第一图像的尺寸相同,且第一光线增强模板图中的光线作用区域与第一图像中光线存在的区域匹配,且第一光线增强模板图中的光线所在的区域以外的区域为全黑,因此第一光线增强模板图可准确作用于第一图像中的光线分布集中区域,而不影响第一图像中的其余区域。
进一步地,电子设备可对第二图像进行评分,以评价上述补光处理带来的补光效果。
在一种可能的实现方式中,电子设备将第二图像输入美学评分模型,得到第二图像的美学评分,美学评分包括光线参数对应的评分;将第二图像输入构图评分模型,得到第二图像的构图评分;基于第二图像的美学评分和第二图像的构图评分,得到第二图像的图像评分。
美学评分模型是对多模态大模型进行微调得到的模型,该美学评分模型在微调时使用到提示词,提示词包括光线参数和/或光线的总体评价(或称为总体质量),光线参数可包括噪声、清晰度、对比度、亮度、饱和度、锐化和颜色等中一项或多项。美学评分模型在微调完成之后,可学习到图像关于这些提示词的分数,进而当第二图像输入美学评分模型之后,美学评分模型可以得到第二图像在噪声、清晰度、对比度、亮度、饱和度、锐化和颜色等中一项或多项的分数。美学评分模型得到的这些数值后,可以对这些数值进行加权求和处理,将加权求和得到的数值作为美学评分并输出,美学评分可以直观体现出光线参数对光线增强模板图以及第二图像的影响,从而有利于后续对光线参数进行优化。示例地,美学评分模型可以为对比语言-图像预训练图像质量评估模型(contrastive language-imagepre-training image quality assessment,CILP-IQA)。
可选的,预先设定补光影响较大的光线参数具有更大的评分权重,等等。
构图评分模型是基于构图规则训练得到的深度学习模型。该构图评分模型可以将第二图像中的构图与预设的构图规则进行对比,从而得到第二图像的构图评分。
电子设备在得到第二图像的美学评分和构图评分之后,可先基于美学评分对应的权重对第二图像的美学评分进行加权,得到第一加权评分;基于构图评分对应的权重对第二图像的构图评分进行加权,得到第二加权评分;最后,将第一加权评分和第二加权评分的总和,作为第二图像的图像评分。
其中,构图评分对应的权重小于美学评分对应的权重。由于在补光处理时,第一光线增强模板图不会对第一图像的构图作出较大的修改,会对第一图像中光线的噪声、对比度、锐度、颜色、模糊度等有较大的影响,因此当构图评分对应的权重小于美学评分对应的权重时,可以使得到的第二图像的图像评分更关注补光处理对美学的影响,少关注补光对构图的影响。
例如,假设美学评分对应的权重为,构图评分对应的权重为/>,/>,第二图像的美学评分为/>,第二图像的构图评分为/>,第二图像的图像评分为/>,则/>可根据下述公式得到:
可以理解的是,上述加权求和的方式仅为举例,在具体实现时,还可以有其余的加权方式,对此不限定。
步骤304、电子设备在第二图像的图像评分小于第一阈值的情况下,对第一光线增强模板图的光线参数进行优化,得到第二光线增强模板图。
其中,第一阈值可以为预设的图像评分阈值,第一阈值可以是根据经验值设定或者是根据大量用户数据统计得到的,本申请对此不做限定。当第二图像的图像评分小于第一阈值时候,说明第二图像的补光效果未达到电子设备的输出条件,因此电子设备可对第一光线增强模板图中的光线参数进行优化,如对光线的大小、噪声、对比度、锐度、颜色、模糊度等一项或多项进行优化,得到第二光线增强模板图。这里光线的大小包括但不限于:光线的粗细以及光线作用区域的大小等。
可以理解的是,这里优化的光线参数可以是电子设备支持可进行调整的光线参数中一部分或者全部,本申请对此不做限定。
示例地,电子设备可基于贝叶斯优化算法或者遗传进化算法来优化光线参数等,其中,贝叶斯算法是预先建立一个概率模型预测光线参数对应的性能,然后根据预测的性能对光线参数的值进行设定并基于设定的光线参数进行实际评估,以获取真实性能(如光线参数对应的评分),根据真实性能对概率模型进行更新,并重新设定光线参数的值再重新评估,等等。遗传进化算法是针对光线参数,预先随机生成多个值,这多个值构成一个群体,每个值为一个个体,然后基于评估函数对每个个体的性能进行评分(如光线参数的每个值对应的评分),以选择出多个较优个体,将多个较优个体进行交叉以及变异,产生新的群体,并根据新的群体重新设定光线参数的值。
需补充说明的是,在第二图像的图像评分大于或等于第一阈值的情况下,第二图像的补光效果已经达到电子设备的输出条件,则电子设备可直接输出第二图像,无需再执行下述步骤305至步骤306。例如,电子设备输出第二图像是指电子设备显示第二图像,如电子设备显示界面202中的图像。
步骤305、电子设备基于第二光线增强模板图对第一图像进行补光处理,得到第三图像。
电子设备基于第二光线增强模板图对第一图像进行补光处理是指:电子设备将第二光线增强模板图叠加至第一图像上,来得到第三图像。然后,电子设备对第三图像进行评分,以评价上述补光处理以及光线参数优化带来的补光效果,电子设备可基于步骤303中获取第二图像的图像评分的方式,来得到第三图像的图像评分。
步骤306、电子设备在第三图像的图像评分大于或等于第一阈值的情况下,输出第三图像。
在第三图像的图像评分大于或等于第一阈值的情况下,第三图像的补光效果已经达到电子设备的输出条件,则电子设备可直接输出第三图像,如电子设备显示第三图像。
可以理解的是,若第三图像的图像评分小于第一阈值,则电子设备还可基于对第二光线增强模板图中的光线参数进行优化,得到优化后的第二光线增强模板图,然后再基于优化后的第二光线增强模板图对第一图像进行补光处理,得到新的补光处理后的图像,最后对新的补光处理后的图像进行评分等等,直至电子设备输出图像评分大于或等于第一阈值的补光处理后的图像。
实施图3所描述的实施例,一方面来说,可通过第一光线增强模板图对第一图像进行补光处理,并通过对补光处理得到的第二图像评分,在评分不满足条件时对第一光线增强模板图进行参数优化,以基于优化得到的第二光线增强模板图再次对第一图像进行补光处理。在这个过程中,可通过不断对补光处理后的图像评分,来优化光线增强模板图,基于不断优化的光线增强模板图对第一图像进行补光处理,可有效提升图像的补光效果。另一方面来说,初次补光处理时使用的第一光线增强模板图是基于光线分布估计结果得到的,且后续光线增强模板图是基于第一光线增强模板图进行优化的,因此能使补光处理用到的光线增强模板图中的光线分布,与第一图像中的光线分布相匹配,如光线的大体形状和方向等相似,有利于提升图像的补光效果。并且,根据上述方法,用户可无需手动调节光线的位置等,能减少用户操作,实现自动化的图像补光。
可选的,上述实施例中的电子设备可以为终端设备,例如智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能车载等,但并不局限于此。
下面对上述电子设备的硬件结构进行介绍:如图7所示,图7示出了电子设备的硬件结构示意图。应该理解的是,电子设备可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备可以包括:处理器110、存储器120、天线1,天线2,移动通信模块150,无线通信模块160,显示屏194。
可以理解的是,本发明实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器120,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
摄像头193用于捕获图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件或称为图像传感器,可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,并将转化得到的电信号传递给处理器110以使得处理器110可以对电信号进行处理。在本申请实施例中,电子设备可以包括多个摄像头193,多个摄像头193的所在位置不同。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以一个或多个显示屏194。
天线1和天线2用于发射和接收电磁波信号。终端设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在终端设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备输出声音信号,或通过显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在终端设备上的包括无线局域网(wirelesslocal area networks,WLAN)(如Wi-Fi网络),蓝牙(bluetooth,BT),BLE广播,全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,终端设备的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得终端设备可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code divisionmultiple access,CDMA),宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC ,FM,和/或IR技术等。GNSS可以包括全球卫星定位系统(global positioning system ,GPS),全球导航卫星系统(globalnavigation satellite system,GLONASS),北斗卫星导航系统(beidou navigationsatellite system,BDS),准天顶卫星系统(quasi-zenith satellite system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
下面对电子设备的软件结构进行介绍:如图8所示,图8为本申请实施例提供的电子设备的软件架构图。其中,软件结构采用分层架构,分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。如图8所示,以安卓(Android)系统,Android系统运行在AP上为例,在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层(framework),硬件抽象层(hardware abstractionlayer,HAL)以及内核层(kernel)。
①、应用程序层:应用程序层可以包括一系列应用程序包。如图8所示,应用程序包包括修图应用等应用程序。示例地,修图应用可以为系统自带的修图应用,如提供修图功能的相册APP等,或用户自行安装的具有修图功能的第三方应用,如专门用于提供拍照以及美化功能的APP。在本申请实施例中,修图应用可获取到第一图像以及用户针对第一图像的补光指令。
②、应用程序框架层:应用程序框架层为应用开发者提供了用以访问核心功能的应用编程接口(application programming interface,API)框架及各种服务和管理工具,应用程序框架层包括一些预先定义的函数以及算法。如图8所示,应用程序框架层可以包括修图服务以及算法库。应用程序层中的修图应用可调用修图服务,以使得修图服务基于补光指令,可调用硬件抽象层中的各个模块以及算法库中的算法来对第一图像进行补光处理。
③、硬件抽象层:硬件抽象层是位于操作系统内核与硬件电路之间的接口层,其目的在于将硬件抽象化。它隐藏了特定平台的硬件接口细节,能够为操作系统提供虚拟硬件平台。如图8所示,硬件抽象层包括光线分布估计模块、模板图获取及优化模块、补光模块、评分模块。具体地,光线分布估计模块可结合算法库中光线分布相关的相似度匹配算法或模型对第一图像中的光线分布进行估计得到光线分布估计结果;然后模板图获取及优化模块根据光线分布估计结果获取到第一光线增强模板图,可选的,在模板图获取及优化模块获取第一光线增强模板图时,可调用算法库中的相似度匹配算法或模板图生成算法获取到初始光增强模板图,然后对初始光增强模板图进行处理得到第一光线增强模板图;接着,补光模块基于第一光线增强模板图以及第一图像,得到第二图像;评分模块调用算法库中的美学评分模型以及构图评分模型,得到第二图像的图像评分,当第二图像的图像评分小于第一阈值时,模板图获取及优化模块对第一光线增强模板图进行光线参数优化,得到第二光线增强模板图。然后第二光线增强模板图与第一图像经由补光模块以及评分模块的处理,得到图像评分大于或等于第一阈值的第三图像。
④、内核层是硬件和软件之间的层。内核层包括摄像头驱动和显示驱动等,其中,摄像头驱动可用于开启摄像头以采集到第一图像,显示驱动用于显示第一图像以及硬件抽象层处理得到的第三图像。
可以理解的是,上述软件架构仅为举例,在具体实现时,电子设备在上述各层中还可以包括更多功能模块,本申请对此不赘述。
本申请实施例还提供了一种电子设备,该电子设备可以包括:一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行上述方法实施例中电子设备执行的各个功能或者步骤。
本申请实施例还提供了一种图像处理装置,该图像处理装置包括用于执行上述实施例中电子设备中的功能/单元。
本申请实施例还提供一种芯片系统,如图9所示,该芯片系统900包括至少一个处理器901和至少一个接口电路902。处理器901和接口电路902可通过线路互联。例如,接口电路802可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路902可用于向其它装置(例如处理器901)发送信号。示例性的,接口电路902可读取存储器中存储的指令,并将该指令发送给处理器901。当所述指令被处理器901执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序员/指令,当该计算机程序/指令在电子设备上运行时,使得电子设备执行上述方法实施例中电子设备执行的各个功能或者步骤。
本实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序/指令,当该计算机程序/指令在计算机上运行时,使得计算机执行上述方法实施例中电子设备执行的各个功能或者步骤。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述方法实施例中电子设备执行的各个功能或者步骤。
其中,本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
该作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是,以上实施例仅用以说明本申请的技术方案而非限制,尽管参照较佳实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,可以对本申请的技术方案进行修改或等同替换,而不脱离本申请技术方案的精神和范围。
Claims (11)
1.一种图像处理方法,其特征在于,所述方法包括:
对第一图像中的光线分布进行估计,得到光线分布估计结果;
基于所述光线分布估计结果,获取第一光线增强模板图;
基于所述第一光线增强模板图对所述第一图像进行补光处理,得到第二图像;
在所述第二图像的图像评分小于第一阈值的情况下,对所述第一光线增强模板图的光线参数进行优化,得到第二光线增强模板图;
基于所述第二光线增强模板图对所述第一图像进行补光处理,得到第三图像;
在所述第三图像的图像评分大于或等于所述第一阈值的情况下,输出所述第三图像。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述第二图像输入美学评分模型,得到所述第二图像的美学评分;所述美学评分包括所述光线参数对应的评分;
将所述第二图像输入构图评分模型,得到所述第二图像的构图评分;
基于所述第二图像的美学评分和所述第二图像的构图评分,得到所述第二图像的图像评分。
3.根据权利要求2所述的方法,其特征在于,所述基于所述第二图像的美学评分和所述第二图像的构图评分,得到所述第二图像的图像评分,包括:
基于美学评分对应的权重对所述第二图像的美学评分进行加权,得到第一加权评分;
基于构图评分对应的权重对所述第二图像的构图评分进行加权,得到第二加权评分;所述构图评分对应的权重小于所述美学评分对应的权重;
将所述第一加权评分和所述第二加权评分的总和,作为所述第二图像的图像评分。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述基于所述光线分布估计结果,获取第一光线增强模板图,包括:
基于所述光线分布估计结果,确定所述第一图像中光源的类型;
基于所述第一图像中光源的类型以及所述光线分布估计结果,在数据库中查找所述第一图像对应的初始光线增强模板图,或者生成所述第一图像对应的初始光线增强模板图;
对所述初始光线增强模板图进行处理,得到第一光线增强模板图。
5.根据权利要求4所述的方法,其特征在于,所述基于所述第一图像中光源的类型以及所述光线分布估计结果,在数据库中查找所述第一图像对应的初始光线增强模板图,或者生成所述第一图像对应的初始光线增强模板图,包括:
基于用户设定的光线风格类型、所述第一图像中光源的类型以及所述光线分布估计结果,在数据库中查找所述第一图像对应的初始光线增强模板图,或者生成所述第一图像对应的初始光线增强模板图。
6.根据权利要求1-3中任一项所述的方法,其特征在于,所述第一光线增强模板图的尺寸与所述第一图像的尺寸相同,所述第一光线增强模板图中光线所在的区域与所述第一图像中的光线分布集中区域相同,且在所述第一光线增强模板图中除所述光线所在的区域以外的区域内各个像素的亮度值为0;所述光线分布集中区域为所述第一图像中亮度值大于或等于第二阈值的像素所在的区域。
7.根据权利要求1-3中任一项所述的方法,其特征在于,所述对第一图像中的光线分布进行估计,得到光线分布估计结果,包括:
获取所述第一图像中各个像素的亮度值;
基于所述第一图像中各个像素的亮度值,确定所述第一图像中的光线分布集中区域;所述光线分布集中区域中各个像素的亮度值大于或等于第二阈值;
基于所述光线分布集中区域中各个像素的亮度值的梯度变化,确定所述第一图像的光线分布估计结果。
8.一种电子设备,其特征在于,包括:一个或多个处理器,一个或多个存储器;其中,一个或多个存储器与一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机程序/指令,当所述一个或多个处理器在执行所述计算机程序/指令时,使得所述电子设备执行如权利要求1-7中任一项所述的方法。
9.一种芯片系统,应用于电子设备,其特征在于,所述芯片系统包括至少一个处理器以及接口,所述接口用于接收计算机程序/指令,并传输至所述至少一个处理器;所述至少一个处理器运行所述计算机程序/指令使得电子设备执行如权利要求1-7中任意一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序/指令,当所述计算机程序/指令被处理器执行时,使得电子设备执行如权利要求1-7中任一项所述的方法。
11.一种计算机程序产品,其特征在于,包括计算机程序/指令,所述计算机程序/指令被处理器执行时,使得电子设备执行如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410299154.9A CN117893449A (zh) | 2024-03-15 | 2024-03-15 | 图像处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410299154.9A CN117893449A (zh) | 2024-03-15 | 2024-03-15 | 图像处理方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117893449A true CN117893449A (zh) | 2024-04-16 |
Family
ID=90641579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410299154.9A Pending CN117893449A (zh) | 2024-03-15 | 2024-03-15 | 图像处理方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117893449A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070273686A1 (en) * | 2006-05-23 | 2007-11-29 | Matsushita Electric Industrial Co. Ltd. | Image processing device, image processing method, program, storage medium and integrated circuit |
CN111447372A (zh) * | 2020-03-31 | 2020-07-24 | 浙江大华技术股份有限公司 | 一种亮度参数调节的控制方法、装置、设备及介质 |
CN114723643A (zh) * | 2022-06-10 | 2022-07-08 | 南京航空航天大学 | 一种基于强化学习和美学评估的低光图像增强方法 |
CN115115540A (zh) * | 2022-06-08 | 2022-09-27 | 大连海事大学 | 基于光照信息引导的无监督低光图像增强方法及装置 |
CN115706860A (zh) * | 2021-07-16 | 2023-02-17 | 奇酷软件(深圳)有限公司 | 一种图像补光方法、装置、设备及存储介质 |
CN116112805A (zh) * | 2022-12-13 | 2023-05-12 | 杭州华橙软件技术有限公司 | 补光灯亮度调节方法、装置、电子装置和存储介质 |
-
2024
- 2024-03-15 CN CN202410299154.9A patent/CN117893449A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070273686A1 (en) * | 2006-05-23 | 2007-11-29 | Matsushita Electric Industrial Co. Ltd. | Image processing device, image processing method, program, storage medium and integrated circuit |
CN111447372A (zh) * | 2020-03-31 | 2020-07-24 | 浙江大华技术股份有限公司 | 一种亮度参数调节的控制方法、装置、设备及介质 |
CN115706860A (zh) * | 2021-07-16 | 2023-02-17 | 奇酷软件(深圳)有限公司 | 一种图像补光方法、装置、设备及存储介质 |
CN115115540A (zh) * | 2022-06-08 | 2022-09-27 | 大连海事大学 | 基于光照信息引导的无监督低光图像增强方法及装置 |
CN114723643A (zh) * | 2022-06-10 | 2022-07-08 | 南京航空航天大学 | 一种基于强化学习和美学评估的低光图像增强方法 |
CN116112805A (zh) * | 2022-12-13 | 2023-05-12 | 杭州华橙软件技术有限公司 | 补光灯亮度调节方法、装置、电子装置和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11430209B2 (en) | Image signal processing method, apparatus, and device | |
US10949958B2 (en) | Fast fourier color constancy | |
US20180367774A1 (en) | Convolutional Color Correction in Digital Images | |
US20220319077A1 (en) | Image-text fusion method and apparatus, and electronic device | |
US10129485B2 (en) | Methods and systems for generating high dynamic range images | |
CN112262563A (zh) | 图像处理方法及电子设备 | |
CN106096588A (zh) | 一种图像数据的处理方法、装置和移动终端 | |
CN114422682B (zh) | 拍摄方法、电子设备和可读存储介质 | |
US20230154083A1 (en) | Method for Assisting Makeup, Terminal Device, Storage Medium, and Program Product | |
CN105791790B (zh) | 图像处理方法及装置 | |
CN106210517A (zh) | 一种图像数据的处理方法、装置和移动终端 | |
CN113132704A (zh) | 一种图像处理的方法、装置、终端以及存储介质 | |
CN108765352B (zh) | 图像处理方法以及电子设备 | |
CN113810603A (zh) | 点光源图像检测方法和电子设备 | |
CN109348207B (zh) | 色温调节方法、图像处理方法及装置、介质和电子设备 | |
CN114340102A (zh) | 灯带控制方法、装置、显示设备、系统以及存储介质 | |
CN117893449A (zh) | 图像处理方法及电子设备 | |
CN116091392B (zh) | 图像处理方法、系统及存储介质 | |
CN115484345A (zh) | 显示模式切换方法、装置、电子设备和介质 | |
CN117395495B (zh) | 一种图像处理方法及电子设备 | |
CN114449231B (zh) | 一种图像转换方法及设备 | |
US20230385993A1 (en) | Image processing method and apparatus, electronic device, storage medium and chip | |
WO2024103746A1 (zh) | 图像处理方法、电子设备、计算机程序产品及存储介质 | |
CN117422646B (zh) | 去反光模型的训练方法、去反光模型和去反光方法 | |
CN117745620A (zh) | 一种图像处理方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |