CN117132511A - 一种图像处理方法及电子设备 - Google Patents
一种图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN117132511A CN117132511A CN202310207609.5A CN202310207609A CN117132511A CN 117132511 A CN117132511 A CN 117132511A CN 202310207609 A CN202310207609 A CN 202310207609A CN 117132511 A CN117132511 A CN 117132511A
- Authority
- CN
- China
- Prior art keywords
- image
- area
- mask
- mask image
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 75
- 230000004313 glare Effects 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000000877 morphologic effect Effects 0.000 claims abstract description 13
- 230000010339 dilation Effects 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 238000013461 design Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000004044 response Effects 0.000 description 12
- 238000007726 management method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000010295 mobile communication Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 102100036822 Ankyrin repeat and KH domain-containing protein 1 Human genes 0.000 description 3
- 101000928335 Homo sapiens Ankyrin repeat and KH domain-containing protein 1 Proteins 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 102100034609 Ankyrin repeat domain-containing protein 17 Human genes 0.000 description 2
- 101000924481 Homo sapiens Ankyrin repeat domain-containing protein 17 Proteins 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种图像处理方法及电子设备,涉及图像处理领域,可以提高光源周围区域的对比度。该方法包括:获取目标对象的至少一帧第一图像,其中,第一图像包括光源区域,光源区域中像素点的亮度超过预设亮度阈值;获取第一MASK图像,并对第一MASK图像进行形态学膨胀处理得到第二MASK图像;其中,第一MASK图像是第一图像中光源区域的MASK图像;计算第二MASK图像与第一MASK图像的差值,得到第三MASK图像;其中,第三MASK图像对应第一图像中的炫光区域,炫光区域是光源区域的边缘区域;对第一图像中第三MASK图像对应的炫光区域进行对比度增强处理,得到处理后的第一图像。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及电子设备。
背景技术
当前,手机进行拍摄得到的夜景图像中,在光源周围可能产生炫光效果,降低了夜景图像的局部对比度,影响夜景的拍摄效果。
现有技术中,可以对手机镜头的设计进行改进来减少拍摄图像中光源周围的炫光效果,但是对镜头设计进行改进的成本较大。
发明内容
本申请实施例提供一种图像处理方法及电子设备,可以检测出光源区域对应的炫光区域,增强炫光区域的对比度,提升拍摄效果,且成本较低。
为达到上述目的,本申请的实施例采用如下技术方案:
第一方面,提供了一种图像处理方法,该图像处理方法可以应用于电子设备。电子设备可以获取目标对象的至少一帧第一图像,其中,第一图像包括光源区域,光源区域中像素点的亮度超过预设亮度阈值。电子设备可以获取第一掩膜MASK图像,并对第一MASK图像进行形态学膨胀处理得到第二MASK图像;其中,第一MASK图像是第一图像中光源区域的MASK图像。电子设备计算第二MASK图像与第一MASK图像的差值,得到第三MASK图像;其中,第三MASK图像对应第一图像中的炫光区域,炫光区域是光源区域的边缘区域。对第一图像中第三MASK图像对应的炫光区域进行对比度增强处理,得到处理后的第一图像。
通过采用该技术方案,可以检测出光源区域边缘发生炫光的炫光区域,并针对炫光区域进行对比度增强处理,可以提升拍摄效果。
在第一方面的一种可能的设计方式中,上述光源区域中像素点的亮度超过预设亮度阈值,包括:光源区域中像素点的红色像素值、绿色像素值和蓝色像素值大于预设像素阈值。
在第一方面的一种可能的设计方式中,上述第一图像是目标对象的正常曝光图像。也就是说,在获取的第一图像是单帧图像时,一般情况下是获取正常曝光图像。也可以是获取低曝光图像或高曝光图像。
在第一方面的一种可能的设计方式中,至少一帧第一图像包括至少两帧第一图像,至少两帧第一图像包括目标对象的低曝光图像和正常曝光图像。也就是说,第一图像可以包括不同程度曝光图像,而不同程度曝光图像可以是单帧也可以是多帧。
其中,上述对该第一图像中第三MASK图像对应的炫光区域进行对比度增强处理,得到处理后的第一图像,包括:对低曝光图像中第三MASK图像对应的第一区域图像,以及正常曝光图像中第四MASK图像对应的第二区域图像进行图像融合,得到第二图像;其中,第四MASK图像对应正常曝光图像中的非炫光区域,非炫光区域包括正常曝光图像中除炫光区域之外的所有其他区域。对第二图像中第三MASK图像对应的炫光区域进行对比度增强处理,得到处理后的第一图像。也就是说,在融合的时候,从低曝光图像中选择炫光区域对应的图像内容,从正常曝光图像中选择非炫光区域对应的图像内容,在融合之后可以使得炫光区域的亮度变暗。
由此,在第一图像包括不同曝光程度图像时,需要先对不同曝光程度的图像进行图像融合,以降低炫光区域的亮度。然后再对融合后的图像中对应的炫光区域进行对比度增强,可以使得处理后图像的显示更加清晰。
在第一方面的一种可能的设计方式中,在上述对第一图像中第三MASK图像对应的炫光区域进行对比度增强处理,得到处理后的第一图像之前,该方法还包括:计算正常曝光图像中第三MASK图像对应的第三区域图像的信息熵和第一区域图像的信息熵;确定第三区域图像的信息熵大于第一区域图像的信息熵。也就是说,正常曝光图像中第三MASK图像对应的图像的信息熵大于低曝光图像中第三MASK图像对应的图像的信息熵。也即,正常曝光图像中第三MASK图像对应的图像的对比度小于低曝光图像中第三MASK图像对应的图像的对比度。如果满足上述条件,也就说明第三MASK图像对应的区域很大可能是产生炫光或光晕的区域。
在第一方面的一种可能的设计方式中,上述至少两帧第一图像还包括目标对象的高曝光图像。在上述对第一图像中第三MASK图像对应的炫光区域进行对比度增强处理,得到处理后的第一图像之前,该方法还包括:计算高曝光图像中第三MASK图像对应的第四区域图像的信息熵;确定第三区域图像的信息熵小于第四区域图像的信息熵。也就是说,对于不同程度曝光图像中,曝光程度越低的图像中第三MASK图像对应的图像的信息熵越小。也即,高曝光图像中第三MASK图像对应的图像的对比度小于正常曝光图像中第三MASK图像对应图像的对比度,正常曝光图像中第三MASK图像对应图像的对比度小于低曝光图像中第三MASK图像对应图像的对比度。
由此,在存在高曝光图像,正常曝光图像和低曝光图像时,如果满足上述信息熵条件,也就说明第三MASK图像对应的区域很大可能是产生炫光或光晕的区域。
在第一方面的一种可能的设计方式中,上述方法还包括:基于正常曝光图像,获取第一MASK图像。可以使最后的图像融合结果更好。
在第一方面的一种可能的设计方式中,在上述对第一图像中第三MASK图像对应的炫光区域进行对比度增强处理,得到处理后的第一图像之前,该方法还包括:计算正常曝光图像中第三MASK图像对应的第三区域图像的信息熵;确定第三区域图像的信息熵在预设阈值区间内。也就是说,若是只有一帧图像,那么可以设定预设信息熵阈值区间,若正常曝光图像中第三MASK图像对应的图像的信息熵在该预设阈值区间内,也就说明第三MASK图像对应的区域很大可能是产生炫光或光晕的区域。
第二方面,本申请提供一种电子设备,该电子设备包括存储器、显示屏、一个或多个摄像头和一个或多个处理器。存储器、显示屏、摄像头与处理器耦合。其中,存储器中存储有计算机程序代码,计算机程序代码包括计算机指令。当计算机指令被处理器执行时,使得电子设备执行如第一方面及其任一种可能的设计方式所述的方法。
第三方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如第一方面及其任一种可能的设计方式所述的方法。
第四方面,本申请提供一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得该计算机执行如第一方面及任一种可能的设计方式所述的方法。该计算机可以是上述电子设备。
可以理解地,上述提供的第二方面所述的电子设备,第三方面所述的计算机存储介质,第四方面所述的计算机程序产品所能达到的有益效果,可参考第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种同一图像在图像处理前后的显示效果的示意图;
图2为本申请实施例提供的一种电子设备的硬件结构示意图;
图3为本申请实施例提供的一种图像处理方法的流程示意图;
图4为本申请实施例提供的一种手机的显示界面示意图;
图5为本申请实施例提供的另一种手机的显示界面示意图;
图6为本申请实施例提供的另一种手机的显示界面示意图;
图7为本申请实施例提供的另一种手机的显示界面示意图;
图8为本申请实施例提供的另一种手机的显示界面示意图;
图9为本申请实施例提供的一种目标对象的MASK图像的效果示意图;
图10为本申请实施例提供的一种目标对象不同区域对应的MASK图像的效果示意图;
图11为本申请实施例提供的一种炫光区域在图像处理前后的显示效果的示意图;
图12是本申请实施例提供的另一种图像处理方法的流程示意图;
图13是本申请实施例提供的一种图像处理方法的实现示意图;
图14为本申请实施例提供的一种芯片系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。以下术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
为了便于理解,本申请实施例这里介绍本申请实施例涉及的术语:
(1)曝光值(Exposure Values,EV):曝光指数,曝光量的一种量制。可以分为正常曝光(EV0),低曝光(EV-),高曝光(EV+)。
其中,正常曝光是指画面的高光与阴影都有清晰的细节;低曝光是指光线太暗,导致画面比较暗,曝光不足;高曝光是指光线太亮,导致画面比较亮,曝光过度。
其中,如果照片过暗,要修正相机测光表的EV值基数,EV值每增加1.0,相当于摄入的光线量增加一倍,如果照片过亮,要减小EV值,EV值每减小1.0,相当于摄入的光线量减小一倍。按照不同相机的补偿间隔可以以1/2(0.5)或1/3(0.3)的单位来调节。
(2)掩膜(MASK):又可以称为图像掩模,用选定的图像、图形或物体,对处理的图像(全部或局部)进行遮挡,来控制图像处理的区域或处理过程。用于覆盖的特定图像或物体称为掩模。
数字图像处理中,掩膜是由0和1组成的一个二进制图像。当在某一功能中应用掩模时,1值区域被处理,被屏蔽的0值区域不被包括在计算中。通过指定的数据值、数据范围、有限或无限值、感兴趣区和注释文件来定义图像掩模,也可以应用上述选项的任意组合作为输入来建立掩模。
(3)形态学膨胀:形态学是基于形状的一系列图像处理的操作。最基本的形态学有两种即膨胀(dilate)与腐蚀(erode)。一般情况下对二值化图像/灰度图像进行操作,需要输入两个操作,一个是原始图像或二值图像,另一个被称为结构化元素或核,是用来决定操作的性质的。
膨胀是对于白色部分(高亮部分),而不是黑色部分。膨胀是将图像中的高亮区域或白色部分进行扩张,其运行结果图比原图的高亮区域更大,线条变粗了,主要用于去噪。其中,图像的膨胀,可分三种:水平膨胀、垂直膨胀、全方位膨胀。
在电子设备进行拍摄时,拍摄对象中可能包括光源,比如广告灯牌,路灯等。由于电子设备的镜头在设计上可能存在缺陷,光经过镜头再传到图像传感器上时,可能会有非预期的反射或折射,使得在电子设备呈现的图像中,光源周围可能产生炫光效果,会降低光源周围的对比度,影响拍摄效果。
请参阅图1,图1为同一图像在图像处理前后的显示效果的示意图。图1的1a是未经图像处理前的图像101,图1的1b是经图像处理后的图像102。从1a和1b可看出,图像101在路灯的发光区域周围的局部对比度低于图像102在路灯的发光区域周围的局部对比度,图像102相比图像101更加清晰醒目。
在现有的一些方案中,可以通过对电子设备的镜头进行改进来解决上述问题。然而,对镜头进行改进的成本比较高。
由此,本申请实施例提供一种图像处理方法,可以通过获取图像中光源区域对应的第一MASK图像,以及第一MASK图像进行形态学膨胀处理后的第二MASK图像,再根据第一MASK图像与第二MASK图像得到炫光区域对应的第三MASK图像。最后通过对炫光区域进行对比度增强处理,提高了图像的局部对比度,改善了图像的炫光效果,进而提升了拍摄效果。并且通过软件的方式提升拍摄效果,成本更低。
示例性的,本申请实施例中的电子设备具体可以为便携式计算机(如手机)、平板电脑、笔记本电脑、个人计算机(personal computer,PC)、可穿戴电子设备(如智能手表)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备、车载电脑等,以下实施例对该电子设备的具体形式不做特殊限制。
下面将结合附图对本申请实施例的实施方式进行详细描述。以上述电子设备是手机为例,介绍电子设备100的硬件结构。请参阅图2,图2示出了电子设备的结构示意图,如图2所示,该电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,USB接口110,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风,耳机接口,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentification module,SIM)卡接口195等。
其中,上述传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器和骨传导传感器等传感器。
可以理解的是,本实施例示意的结构并不构成对手机100的具体限定。在另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。
无线通信模块160可以提供应用在手机100上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。
无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。该显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。摄像头193用于捕获静态图像或视频。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。视频编解码器用于对数字视频压缩或解压缩。NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行手机100的各种功能应用以及数据处理。例如,在本申请实施例中,处理器110可以通过执行存储在内部存储器121中的指令,内部存储器121可以包括存储程序区和存储数据区。
其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universalflash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风,耳机接口,以及应用处理器等实现音频功能。例如音乐播放,录音等。
指纹传感器180A用于采集指纹信息。电子设备100可以利用采集的指纹信息的指纹特性进行用户身份校验(即指纹识别),以实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
触摸传感器180B,也称“触控面板(TP)”。触摸传感器180B可以设置于显示屏194,由触摸传感器180B与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180B用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180B也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和手机100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。
以下实施例中的方法均可以在具有上述硬件结构的电子设备100中实现。
本申请实施例提供一种图像处理方法,该方法可以应用于包括摄像头的电子设备。以下实施例中以上述电子设备是手机为例,介绍本申请实施例的方法。请参阅图3,图3是本申请实施例提供的一种图像处理方法的实现流程示意图。如图3所示,该图像处理方法可以包括S301-S304。
S301、手机获取目标对象的至少一帧第一图像,其中,第一图像包括光源区域,光源区域中像素点的亮度超过预设亮度阈值。
示例性的,本申请实施例的方法可以应用于手机拍照、拍照预览、录像、录像预览的场景中。或者,本申请实施例的方法还可以应用于手机对手机图库(或者相册)中的照片或视频进行图像处理的场景中。
在一些实施例中,本申请实施例的方法可以应用于手机拍照的场景中(简称为:拍照场景)。其中,上述拍照场景可以包括:有光源的夜景,例如夜景中的广告灯牌、路灯等。或者,也可以不是针对夜景,例如场景中有很亮的光源,周围又很暗时,针对这种明暗比较明显的场景。或者是,在逆光下普通的高动态范围成像(High Dynamic Range Imaging,简称HDRI或HDR)场景。或者是,在没有光源的场景下,例如,在夕阳下背对夕阳,或站在窗户旁边,在特定的角度下拍摄时也可能有炫光区域。
在拍照场景中,手机响应于用户开启相机应用的操作,可以显示图4中的(b)所示的拍照的预览界面401。例如,上述开启相机应用的操作可以是用户对图4中的(a)所示的相机应用的应用图标的点击操作。该拍照的预览界面401可以包括预览图像402。其中,预览图像402可以是手机执行S301-S304,处理摄像头采集的图像(即第一图像)得到的S304所述的处理后的第一图像。该第一图像可以是摄像头采集的原始(RAW)图像。具体的,手机响应于用户开启相机应用的操作,可以执行S301-S304。也就是说,手机响应于用户开启相机应用的操作,可以执行S301采集第一图像。
或者,在拍照场景中,手机响应于用户开启相机应用的操作,可以显示图5中的(a)所示的拍照的预览界面501。该拍照的预览界面501中显示的预览图像502可以是手机的摄像头采集的预览图像。该预览图像502(即第一图像)可以是摄像头采集的RAW图像,未经过手机的处理。手机响应于用户对预览界面501中的“拍摄快门”503的点击操作,可以执行本申请实施例的方法,处理摄像头采集的预览图像(即上述第一图像)得到图5中的(b)所示的处理后的第一图像504。具体的,手机响应于用户对“拍摄快门”503的点击操作,可以执行S301-S304。也就是说,手机响应于用户“拍摄快门”503的点击操作,可以执行S301得到第一图像,然后执行S302-S304显示处理后的第一图像。
在另一些实施例中,本申请实施例的方法可以应用于手机对手机图库(或者相册)中的照片或视频进行图像处理的场景(简称为:拍摄后的图像处理场景)中。
在拍摄后的图像处理场景中,手机响应于用户对相册中任一张照片点击操作,可以执行S301-S304,得到并显示处理后的第一图像。
例如,手机可以显示图6中的(a)所示的相册列表界面601,该相册列表界面601包括多张照片的预览项。一般而言,手机可以响应于用户对相册列表界面601中的路灯照片(相当于第一图像)的预览项602的点击操作,可以直接显示该预览项602对应的路灯照片(相当于第一图像)。本申请实施例中,手机可以响应于用户对路灯照片(相当于第一图像)的预览项602的点击操作,可以执行S301-S304,得到并显示图6中的(b)所示的处理后的第一图像603。图6中的(b)所示的照片的详情页不仅包括处理后的第一图像603,还包括编辑按钮604。该编辑按钮604用于触发手机编辑处理后的第一图像603。
或者,在拍摄后的图像处理场景中,用户可以在一张照片的编辑界面中触发手机执行S301-S304,得到并显示处理后的第一图像。
例如,手机可以显示图7中的(a)所示的照片701(即第一图像)的详情页。手机响应于用户对图7中的(a)所示的编辑按钮702的点击操作,可显示图7中的(b)所示的编辑界面703。该编辑界面703包括“智能AI”按钮705、“裁剪”按钮、“滤镜”按钮和“调节”按钮。“智能AI”按钮705用于触发手机改善第一图像704的炫光效果。“裁剪”按钮用于触发手机裁剪第一图像。“滤镜”按钮用于触发手机为第一图像添加滤镜效果。“调节”按钮用于触发手机调整第一图像的对比度、饱和度和亮度等参数。
响应于用户对“智能AI”按钮705的点击操作,手机可执行S301-S304,得到并显示图7中的(c)所示的处理后的第一图像707。图7中的(c)所示的编辑界面不仅包括处理后的第一图像707,还包括保存按钮706。该保存按钮706用于触发手机保存处理后的第一图像707。响应于用户对保存按钮706的点击操作,手机可以保存处理后的第一图像707并显示图8所示的处理后的第一图像707的照片详情页。
在另一些实施例中,本申请实施例的方法也可以应用于手机录像的场景中,手机响应于用户开启录像模式的操作,可以执行S301-S304,或者手机响应于用户对“录像快门”的点击操作,可以执行S301-S304。
需要说明的是,手机对手机图库(或者相册)中的视频进行图像处理的方法,与手机对手机图库中的照片进行图像处理的方法类似,本申请实施例这里不予赘述。不同的是,手机需要处理视频中每一帧图像。
由上述拍摄得到的图像为第一图像,第一图像可以是单帧,也可以是多帧。其中,目标对象可以是人像、风景、美食、建筑等。
本申请实施例中,获取的至少一帧第一图像,可以是至少一帧相同曝光程度的图像,比如一帧正常曝光图像,或者多帧正常曝光图像。也可以是至少一帧不同曝光程度的图像,比如,低曝光图像和正常曝光图像各一帧或多帧,或者是,低曝光图像,高曝光图像和正常曝光图像各一帧或多帧。
本申请实施例中,获取的第一图像包括光源区域,其中,可以通过检测第一图像中像素点的亮度来确定该图像中是否存在光源区域。若像素点的亮度超过预设亮度阈值,则该像素点为光源区域的像素点。
其中,手机镜头采集的第一图像是由一个个像素构成的,每个像素点包括红(Red,R)、绿(Green,G)、蓝(Blue,B)三个子像素。其中,像素的亮度值在0至255之间,靠近255的像素亮度较高,靠近0的亮度较低。
本申请实施例中,光源区域中像素点的亮度超过预设亮度阈值,也即,光源区域中像素点的红色像素值、绿色像素值和蓝色像素值大于预设像素阈值。其中,预设像素阈值可以自定义设置,例如,预设像素阈值为200,那么光源区域中像素点的红色像素值、绿色像素值和蓝色像素值大于200。也就是说,检测第一图像的各个像素点,若该像素点的红色像素值、绿色像素值和蓝色像素值都大于200时,该像素点是光源区域中的像素点。或者,还可以设置像素区间的预设比例值,比如像素区间为0~255,预设比例值为0.8,那么若该像素点的红色像素值、绿色像素值和蓝色像素值在像素值区间所占的比例值都大于0.8时,也就是该像素点的红色像素值、绿色像素值和蓝色像素值均大于204(255*0.8=204)时,该像素点是光源区域中的像素点。
S302、手机获取第一MASK图像,并对第一MASK图像进行形态学膨胀处理得到第二MASK图像。第一MASK图像是第一图像中光源区域的MASK图像。
本申请实施例中,手机在检测出第一图像中的光源区域后,获取光源区域的MASK图像,设为第一MASK图像。
其中,若手机是对不同曝光程度的图像进行本申请的图像处理时,手机获取的至少一帧第一图像包括正常曝光图像,当然,也可能包括低曝光图像和/或高曝光图像。一般情况下,手机可以基于正常曝光图像,获取光源区域的第一MASK图像。
比如,若手机获取的第一图像包括针对目标对象的低曝光图像和正常曝光图像时,那么基于正常曝光图像,获取光源区域的第一MASK图像。再比如,若手机获取的第一图像包括针对目标对象的低曝光图像、正常曝光图像和高曝光图像时,那么也是基于正常曝光图像,获取光源区域的第一MASK图像。可以理解的是,在另一些实施例中,手机获取的第一图像也可以是针对目标对象的低曝光图像和高曝光图像,或者是针对目标对象的正常曝光图像和高曝光图像。相对来说,若有低曝光图像时,在进行图像融合时呈现的效果更好。
在一些实施例中,若手机是对单帧图像或同一曝光程度的图像进行本申请的图像处理时,一般是获取正常曝光图像,那么第一图像也就是正常曝光图像。在另一些实施例中,第一图像也可以是低曝光图像或高曝光图像。
本申请实施例中,相比第一图像仅包括单帧图像或同一曝光程度图像,若第一图像包括不同曝光程度图像时的图像处理效果更好。
示例性的,本申请实施例中以上述第一MASK图像为例,介绍本申请实施例中所述的MASK图像。例如,假设目标对象是路灯,该第一MASK图像可以是路灯的光源区域的MASK图像。如图9所示,手机可以获取第一图像901的第一MASK图像902。
示例性的,本申请实施例中所述的第一MASK图像中,光源区域的图像中像素点的像素值可以为第一值,而第一MASK图像中除光源区域的图像之外的图像中像素点的像素值可以为第二值。该第一值与第二值不同,用于区分第二图像中第一拍摄对象的图像和其他图像。例如,第一值可以为1,第二值可以为0。
举例来说,图9中,光源区域为第一MASK图像902中填充白色的部分,其像素值可以为1。图9中,光源区域以外的其他图像为第一MASK图像902中填充黑色的部分,其像素值可以为0。
本申请实施例中,在获取光源区域的第一MASK图像之后,对第一MASK图像进行形态学膨胀处理得到第二MASK图像。其中,可以对第一MASK图像进行全方位膨胀处理。
具体的,遍历第一MASK图像的每个像素点,取该像素点以及与该像素点对应的全部相邻像素点各自的像素值,并取全部像素值的最大值,作为该像素点的像素值。第一MASK图像中,某个像素点以及与该像素点对应的全部相邻像素点各自的像素值均为0,则最大值为0,那么将该像素点的像素值确定为0;若该像素点的像素值为0,与该像素点对应的全部相邻像素点各自的像素值为1或者0,那么将该像素点的像素值设置为1,以此类推,对每个像素点进行处理后,即完成对第一MASK图像的膨胀操作。
其中,可以先确定滑动窗口的大小,通过预设滑动窗口遍历第一MASK图像的每个像素点,对滑动窗口内的像素点进行赋值,预设滑动窗口越大,白色区域就会越大。
如图10所示,手机对第一MASK图像1001进行形态学膨胀操作处理得到第二MASK图像1002。第一MASK图像1001对应的光源区域1004,经过膨胀处理后,变为膨胀后光源区域1005。从图10可以看出,第一MASK图像1001中的白色区域,在第二MASK图像1002中明显变大。
S303、手机计算第二MASK图像与第一MASK图像的差值,得到第三MASK图像。
本申请实施例中,如图10所示,通过计算第二MASK图像1002与第一MASK图像1001的差值,得到第三MASK图像1003。其中,第三MASK图像对应第一图像中的炫光区域,炫光区域是光源区域的边缘区域。
如图10所示,计算第二MASK图像1002与第一MASK图像1001的差值,也即计算膨胀后光源区域1005与光源区域1004的差值,得到炫光区域1006,也就是第三MASK图像1003中的白色区域。
S304、手机对第一图像中第三MASK图像对应的炫光区域进行对比度增强处理,得到处理后的第一图像。
本申请实施例中,在对炫光区域进行对比度增强处理之前,可以先判断第一图像的对比度是否满足预设对比度条件。如果第一图像的对比度满足预设对比度条件,也就表示第一图像中的光源区域边缘存在炫光,需要对炫光区域进行对比度增强处理。
在一些实施例中,若手机获取的第一图像为单帧或者同一曝光程度,设第一图像为正常曝光图像,那么在对炫光区域进行对比度增强处理之前,要先判断正常曝光图像的对比度是否满足预设对比度条件。
具体的,计算正常曝光图像中第三MASK图像对应的第三区域图像的信息熵,并确定第三区域图像的信息熵是否在预设阈值区间内。其中,信息熵(information entropy)在某种意义上可以表示对比度。由此,确定上述第三区域图像的信息熵是否在信息熵的预设阈值区间内,也就是确定第三区域图像的对比度是否在对比度的预设阈值区间内。若第三区域图像的信息熵在信息熵的预设阈值区间内,即第三区域图像的对比度在对比度的预设阈值区间内,那么,也就表示正常曝光图像的对比度满足预设对比度条件。
在确定正常曝光图像的对比度满足预设对比度条件之后,也就是确定正常曝光图像之后存在炫光区域,那么可以直接对正常曝光图像中确定的炫光区域进行对比度增强处理,得到处理后的正常曝光图像,以提升正常曝光图像的显示效果。其中,本申请实施例中所述的图像的“显示效果”是指图像被显示屏显示后,可以被人眼观察到的图像效果。
在一些实施例中,若手机获取的第一图像为不同曝光程度的图像,设第一图像包括低曝光图像与正常曝光图像,那么在对炫光区域进行对比度增强处理之前,要先判断正常曝光图像的对比度与低曝光图像的对比度是否满足预设对比度条件。也即,为了进一步确认第三MASK图像对应的区域是否有炫光或光晕,并且这个炫光或光晕不论是面积还是对比度都符合在EV值更小的图像帧上对比度更高,且面积更小的条件。上述的预设对比度条件也就是指,曝光值越低的图像中炫光区域的对比度越大。
具体的,可以计算正常曝光图像中第三MASK图像对应的第三区域图像的信息熵,与低曝光图像中第三MASK图像对应的第一区域图像的信息熵,并确定第三区域图像的信息熵是否大于第一区域图像的信息熵。由于信息熵在一定意义上可以表示对比度,在信息熵的预设阈值区间内,信息熵越小,对比度越大。
可以得知,第三区域图像的曝光值高于第一区域图像的曝光值,因此,需要确定第三区域图像的信息熵是否大于第一区域图像的信息熵,也即确定第三区域图像的对比度是否小于第一区域图像的对比度。若第三区域图像的信息熵大于第一区域图像的信息熵,即第三区域图像的对比度小于第一区域图像的对比度,那么,也就表示正常曝光图像的对比度与低曝光图像的对比度满足预设对比度条件。
本申请实施例中,若手机获取的第一图像为不同曝光程度的图像,那么要先对不同曝光程度的图像进行图像融合,再对融合后的图像中的炫光区域进行对比度增强处理,从而得到处理后的第一图像,以提升第一图像的显示效果。设第一图像为目标对象的低曝光图像和正常曝光图像,在进行图像融合时,可以从低曝光图像中确定炫光区域的图像内容,从正常曝光图像中确定非炫光区域的图像内容,非炫光区域包括正常曝光图像中除炫光区域之外的所有其他区域。
具体的,对低曝光图像中第三MASK图像对应的第一区域图像,以及正常曝光图像中第四MASK图像对应的第二区域图像进行图像融合,得到第二图像。其中,第四MASK图像对应正常曝光图像中的非炫光区域。然后,对第二图像中第三MASK图像对应的炫光区域进行对比度增强处理,得到处理后的第一图像。可以理解的是,本申请实施例中可以采用现有技术中的融合算法来实现图像的融合,在此不再进行赘述。
在一些实施例中,设第一图像除了低曝光图像和正常曝光图像之外,还包括高曝光图像时,那么在对炫光区域进行对比度增强处理之前,要先判断正常曝光图像的对比度、低曝光图像的对比度和高曝光图像的对比度是否满足预设对比度条件。
具体的,计算高曝光图像中第三MASK图像对应的第四区域图像的信息熵,正常曝光图像中第三MASK图像对应的第三区域图像的信息熵,与低曝光图像中第三MASK图像对应的第一区域图像的信息熵。然后,确定第三区域图像的信息熵是否大于第一区域图像的信息熵,且小于第四区域图像的信息熵。若第三区域图像的信息熵大于第一区域图像的信息熵,且小于第四区域图像的信息熵,即第三区域图像的对比度小于第一区域图像的对比度,且大于第四区域图像的对比度。那么,也就表示正常曝光图像的对比度、低曝光图像的对比度和高曝光图像的对比度满足预设对比度条件。
其中,上述高曝光图像的信息只用于在图像融合之前进行对比度判断,不用于图像融合。由此,若第一图像包括低曝光图像、正常曝光图像和高曝光图像时,仍然只需要用到低曝光图像和正常曝光图像中的图像内容进行图像融合。然后,对融合后的图像中的炫光区域进行对比度增强处理,得到处理后的第一图像。一般来说,对炫光区域进行多曝光融合之后的图像处理效果,相比仅对单帧图像的炫光区域进行对比度增强处理的效果更好。
在一些实施例中,若第一图像包括多帧同一曝光程度图像,且对应的曝光值不相同时,那么这些图像的第三MASK图像对应区域图像的信息熵按照从小到大的排列顺序,与这些图像按照曝光值从低到高的排列顺序相同。
例如,第一图像包括低曝光图像EV-,正常曝光图像EV0和高曝光图像EV+1,EV+2。那么在进行图像融合之前,分别计算低曝光图像EV-的第三MASK图像对应区域图像的信息熵A,正常曝光图像EV0的第三MASK图像对应区域图像的信息熵B,高曝光图像EV+1的第三MASK图像对应区域图像的信息熵C和高曝光图像EV+2的第三MASK图像对应区域图像的信息熵D。那么,若信息熵A<信息熵B<信息熵C<信息熵D,则表示第三MASK图像对应的区域是炫光区域。然后,再根据上述图像进行图像融合,以及对炫光区域进行对比度增强。
在另一些实施例中,手机获取的第一图像也可以不包括低曝光图像,比如,第一图像仅包括正常曝光图像和高曝光图像。然而,包括低曝光图像时采用本申请所述的图形处理方法时的图像处理效果,比上述不包括低曝光图像时的图像处理效果更好。
本申请实施例中,仅针对上述第一图像或第二图像中的炫光区域进行对比度增强处理。其中,对比度增强方法包括直方图均衡化,局部色调映射,双边网格高频增强等,可以理解的是,本申请可以采用现有技术中的对比度增强方法来对炫光区域进行对比度增强处理,在此不再进行赘述。
如图11所示,图11的11a为经上述图像处理前的图像1101,图11的11b为经上述图像处理后的图像1102。图像1101中的路灯的发光区域1103即为上述的光源区域,图像1101中路灯的发光区域1103的边缘区域1104即为上述的炫光区域,在经过本申请所述的图像处理方法之后,图像1102中的炫光区域1105的对比度增强,图像1102相比图像1101更加清晰。
可以理解的是,图像1101的光源区域是通过检测图像1101中各个像素点的亮度来确定的。在该示例中,图像1101中只检测出了路灯的发光区域1103的像素点满足预设亮度阈值,因此只认为发光区域1103的边缘区域1104为炫光区域。但是,在其他示例中,图像中也可能存在多个光源区域,可以一起进行上述图像处理方法,并不是只能对一处光源区域的炫光区域进行处理。
在一些实施例中,本申请实施例提供的另一种图像处理方法的流程示意图请参阅图12。以下实施例中仍以上述电子设备是手机为例,介绍本申请实施例的方法。如图12所示,该图像处理方法可以包括S1201-S1206。
S1201、手机获取目标对象的至少两帧第一图像,至少两帧第一图像包括目标对象的低曝光图像和正常曝光图像,第一图像包括光源区域。
本申请实施例中,可以通过检测第一图像中像素点的亮度来确定该图像中是否存在光源区域。若像素点的亮度超过预设亮度阈值,则该像素点为光源区域的像素点。其中,光源区域中像素点的亮度超过预设亮度阈值,也即,光源区域中像素点的红色像素值、绿色像素值和蓝色像素值大于预设像素阈值。
例如,预设像素阈值为200,那么光源区域中像素点的红色像素值、绿色像素值和蓝色像素值大于200。也就是说,检测第一图像的各个像素点,若该像素点的红色像素值、绿色像素值和蓝色像素值都大于200时,该像素点是光源区域中的像素点。
S1202、手机获取第一MASK图像,并对第一MASK图像进行形态学膨胀处理得到第二MASK图像。第一MASK图像是第一图像中光源区域的MASK图像。
本申请实施例中,手机基于上述正常曝光图像,获取光源区域的第一MASK图像。
其中,步骤“获取光源区域的第一MASK图像,并对第一MASK图像进行形态学膨胀处理得到第二MASK图像”请参阅步骤S302,本申请在此不作赘述。
S1203、手机计算第二MASK图像与第一MASK图像的差值,得到第三MASK图像。
步骤“计算第二MASK图像与第一MASK图像的差值,得到第三MASK图像”请参阅步骤S303,本申请在此不作赘述。其中,第三MASK图像即对应第一图像中的炫光区域,炫光区域是光源区域的边缘区域。
S1204、手机计算正常曝光图像中第三MASK图像对应的第三区域图像的信息熵和低曝光图像中第三MASK图像对应的第一区域图像的信息熵,并确定第三区域图像的信息熵大于第一区域图像的信息熵。
本申请实施例中,可以通过判断正常曝光图像与低曝光图像是否满足预设对比度条件,来确定第一图像中的光源区域边缘是否存在炫光。若正常曝光图像与低曝光图像满足预设对比度条件,则表示第一图像中的光源区域边缘存在炫光,并且需要对炫光区域进行对比度增强处理。
具体的,计算正常曝光图像中第三MASK图像对应的第三区域图像的信息熵a,是否大于计算出的低曝光图像中第三MASK图像对应的第一区域图像的信息熵b。若信息熵a大于信息熵b,也就是确定第三区域图像的对比度小于第一区域图像的对比度,那么第一图像中的第三MASK图像对应的区域是炫光区域。
由于,第一图像包括两帧不同曝光程度图像,那么在执行步骤S1206的局部对比度增强处理之前,要先进行两种曝光程度图像的融合。
S1205、手机对第一区域图像,以及正常曝光图像中第四MASK图像对应的第二区域图像进行图像融合,得到第二图像;其中,第四MASK图像对应正常曝光图像中的非炫光区域,非炫光区域包括正常曝光图像中除炫光区域之外的所有其他区域。
本申请实施例中,在进行图像融合时,可以从低曝光图像中确定炫光区域的图像内容,从正常曝光图像中确定非炫光区域的图像内容,然后得到融合后的第二图像。可以理解的是,本申请实施例中可以采用现有技术中的融合算法来实现图像的融合,在此不再进行赘述。
S1206、手机对第二图像中第三MASK图像对应的炫光区域进行对比度增强处理,得到处理后的第一图像。
本申请实施例中,可以采用现有技术中的对比度增强方法来对融合后图像的炫光区域进行对比度增强处理,在此不再进行赘述。
本申请实施例中,通过上述图像处理方法可以增强炫光区域的对比度,提升图像的显示效果。
请参阅图13,图13为本申请实施例提供的一种图像处理方法的实现示意图。如图13所示,该图像处理方法包括炫光区域检测模块,炫光区域融合模块和炫光区域局部对比度增强模块。
首先获取针对目标对象的低曝光图像EV-,正常曝光图像EV0和高曝光图像EV+。然后,对图像中的炫光区域进行检测。其中,炫光区域检测模块包括光源区域检测模块,形态学膨胀模块,炫光区域掩膜初始化模块,炫光区域对比度判断模块和炫光区域掩膜确定模块。
本申请实施例中,光源区域检测模块用于检测出图像中的光源区域。然后,可以获取光源区域对应的第一MASK图像MASK1。
具体的,可以通过检测第一图像中像素点的亮度来确定该图像中是否存在光源区域。例如,光源区域中像素点的像素值满足下述条件:MASK1=where img(R)&&img(G)&&img(B)>th1。即,若光源区域中像素点的红色(R)像素值、绿色(G)像素值和蓝色(B)像素值均大于预设像素阈值th1时,该像素点为光源区域的像素点。
形态学膨胀模块用于对第一MASK图像MASK1进行形态学膨胀处理得到第二MASK图像MASK2。
炫光区域掩膜初始化模块用于根据第一MASK图像MASK1与第二MASK图像MASK2确定第三MASK图像MASK3,对应第一图像中的初始炫光区域。其中,这里确定的初始炫光区域并不一定是最后需要进行融合与对比度增强的炫光区域,还需要进一步进行对比度判断。第三MASK图像MASK3的计算公式如下:MASK3=MASK2-MASK1。
炫光区域对比度判断模块用于根据各曝光程度图像的初始炫光区域的对比度,确定初始炫光区域是否为待处理的炫光区域。其中,可以用信息熵(entropy)表示对比度,各曝光程度图像的初始炫光区域的信息熵满足下述条件:if entropy(img_EV-.*MASK3)<entropy(img_EV0.*MASK3)<entropy(img_EV+.*MASK3)。即,低曝光图像中第三MASK图像对应图像的信息熵小于正常曝光图像中第三MASK图像对应图像的信息熵,且正常曝光图像中第三MASK图像对应图像的信息熵小于高曝光图像中第三MASK图像对应图像的信息熵。当满足上述信息熵条件时,可以确定上述初始炫光区域,是待处理的炫光区域。
其中,信息熵的计算公式为:information entropy=∑-p(x)log(p(x))。上述公式中,x是MASK3中像素点的像素值为1时对第一图像选取的像素值序列中的像素值,p(x)是像素值x在MASK3中像素点的像素值为1时对第一图像选取的像素值序列中出现的次数。
由于炫光越低(即对比度越大)时,炫光区域的像素值越接近,那么计算出的信息熵越小。一般情况下,曝光值越低的图像中炫光区域的对比度应该越大,也就是对应的信息熵越小,因此,若MASK3对应的初始炫光区域是待处理的炫光区域,那么,曝光值越低的图像中MASK3对应的信息熵越小。
炫光区域掩膜确定模块用于获取待处理的炫光区域对应的MASK图像MASK4。当初始炫光区域的信息熵满足上述信息熵条件时,那么待处理的炫光区域对应的MASK图像MASK4=MASK3。
本申请实施例中,炫光区域融合模块用于对不同曝光程度的图像进行图像融合。图像融合公式如下:img_fusion=MASK3.*img_EV-*EV-+(1-MASK3).*img_EV0。上述公式中,(1-MASK3)表示正常曝光图像中的非炫光区域,非炫光区域包括正常曝光图像中除炫光区域之外的所有其他区域。
从图像融合公式可知,对低曝光图像中MASK3图像对应的图像,以及正常曝光图像中(1-MASK3)图像对应的图像进行图像融合,得到融合后的图像。
本申请实施例中,炫光区域局部对比度增强模块用于对融合后的图像中待处理的炫光区域进行对比度增强处理。其中,局部对比度增强公式如下:img_result=LCE(img_fusion.*MASK4)+img_fusion.*(1-MASK4)。上述公式中,(1-MASK4)表示融合后的图像中的非炫光区域。从上述公式可知,仅对融合后的图像中的待处理的炫光区域进行对比度增强,融合后的图像中的非炫光区域不进行对比度增强处理。
本申请实施例中,通过检测出光源区域边缘发生炫光的炫光区域,并针对炫光区域进行多曝光图像融合,再针对炫光区域进行对比度增强处理,可以提升降低炫光区域的局部亮度,提升炫光区域的对比度,进而提升图像的显示效果。
本申请另一些实施例提供了一种电子设备,该电子设备可以包括:存储器、显示屏、一个或多个摄像头和一个或多个处理器。
上述存储器、显示屏、摄像头与处理器耦合。上述存储器中存储有计算机程序代码,该计算机程序代码包括计算机指令。当上述计算机指令被处理器执行时,使得电子设备执行如上述方法实施例中手机执行的各个功能或者步骤。该电子设备的结构可以参考图2所示的电子设备100的结构。
本申请实施例还提供一种芯片系统,如图14所示,该芯片系统1400包括至少一个处理器1401和至少一个接口电路1402。处理器1401和接口电路1402可通过线路互联。例如,接口电路1402可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路1402可用于向其它装置(例如处理器1401)发送信号。示例性的,接口电路1402可读取存储器中存储的指令,并将该指令发送给处理器1401。当所述指令被处理器1401执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机存储介质,该计算机存储介质包括计算机指令,当所述计算机指令在上述电子设备上运行时,使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
获取目标对象的至少一帧第一图像,其中,所述第一图像包括光源区域,所述光源区域中像素点的亮度超过预设亮度阈值;
获取第一MASK图像,并对所述第一MASK图像进行形态学膨胀处理得到第二MASK图像;其中,所述第一MASK图像是所述第一图像中所述光源区域的MASK图像;
计算所述第二MASK图像与所述第一MASK图像的差值,得到第三MASK图像;其中,所述第三MASK图像对应所述第一图像中的炫光区域,所述炫光区域是所述光源区域的边缘区域;对所述第一图像中所述第三MASK图像对应的炫光区域进行对比度增强处理,得到处理后的第一图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述光源区域中像素点的亮度超过预设亮度阈值,包括:
所述光源区域中像素点的红色像素值、绿色像素值和蓝色像素值大于预设像素阈值。
3.根据权利要求1或2所述的图像处理方法,其特征在于,所述至少一帧第一图像包括至少两帧第一图像,所述至少两帧第一图像包括所述目标对象的低曝光图像和正常曝光图像;
所述对所述第一图像中所述第三MASK图像对应的炫光区域进行对比度增强处理,得到处理后的第一图像,包括:
对所述低曝光图像中所述第三MASK图像对应的第一区域图像,以及所述正常曝光图像中第四MASK图像对应的第二区域图像进行图像融合,得到第二图像;其中,所述第四MASK图像对应所述正常曝光图像中的非炫光区域,所述非炫光区域包括所述正常曝光图像中除所述炫光区域之外的所有其他区域;
对所述第二图像中所述第三MASK图像对应的炫光区域进行对比度增强处理,得到处理后的第一图像。
4.根据权利要求3所述的图像处理方法,其特征在于,在所述对所述第一图像中所述第三MASK图像对应的炫光区域进行对比度增强处理,得到处理后的第一图像之前,所述方法还包括:
计算所述正常曝光图像中所述第三MASK图像对应的第三区域图像的信息熵和所述第一区域图像的信息熵;
确定所述第三区域图像的信息熵大于所述第一区域图像的信息熵。
5.根据权利要求4所述的图像处理方法,其特征在于,所述至少两帧第一图像还包括所述目标对象的高曝光图像;
在所述对所述第一图像中所述第三MASK图像对应的炫光区域进行对比度增强处理,得到处理后的第一图像之前,所述方法还包括:
计算所述高曝光图像中所述第三MASK图像对应的第四区域图像的信息熵;
确定所述第三区域图像的信息熵小于所述第四区域图像的信息熵。
6.根据权利要求3-5中任一项所述的图像处理方法,其特征在于,所述获取第一MASK图像,包括:
基于所述正常曝光图像,获取所述第一MASK图像。
7.根据权利要求1或2所述的图像处理方法,其特征在于,所述第一图像是所述目标对象的正常曝光图像。
8.根据权利要求7所述的图像处理方法,其特征在于,在所述对所述第一图像中所述第三MASK图像对应的炫光区域进行对比度增强处理,得到处理后的第一图像之前,所述方法还包括:
计算所述正常曝光图像中第三MASK图像对应的第三区域图像的信息熵;
确定所述第三区域图像的信息熵在预设阈值区间内。
9.一种电子设备,其特征在于,所述电子设备包括存储器、显示屏、一个或多个摄像头和一个或多个处理器;所述存储器、所述显示屏、所述摄像头与所述处理器耦合;其中,所述摄像头用于采集图像,所述显示屏用于显示所述摄像头采集的图像或者所述处理器生成的图像,所述存储器中存储有计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述处理器执行时,使得所述电子设备执行如权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在电子设备中运行时,使得所述电子设备执行如权利要求1至8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310207609.5A CN117132511A (zh) | 2023-02-24 | 2023-02-24 | 一种图像处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310207609.5A CN117132511A (zh) | 2023-02-24 | 2023-02-24 | 一种图像处理方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117132511A true CN117132511A (zh) | 2023-11-28 |
Family
ID=88855284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310207609.5A Pending CN117132511A (zh) | 2023-02-24 | 2023-02-24 | 一种图像处理方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117132511A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222870A (zh) * | 2021-05-13 | 2021-08-06 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及设备 |
US20210368087A1 (en) * | 2018-10-24 | 2021-11-25 | Leica Biosystems Imaging, Inc. | Camera exposure control when acquiring fluorescent in situ hybridization images |
CN113888437A (zh) * | 2021-10-15 | 2022-01-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
-
2023
- 2023-02-24 CN CN202310207609.5A patent/CN117132511A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210368087A1 (en) * | 2018-10-24 | 2021-11-25 | Leica Biosystems Imaging, Inc. | Camera exposure control when acquiring fluorescent in situ hybridization images |
CN113222870A (zh) * | 2021-05-13 | 2021-08-06 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及设备 |
CN113888437A (zh) * | 2021-10-15 | 2022-01-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
常戬等: "基于图像融合技术的Retinex图像增强算法", 计算机工程与科学, 15 September 2018 (2018-09-15), pages 1 - 2 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113538273B (zh) | 图像处理方法及图像处理装置 | |
CN113170037B (zh) | 一种拍摄长曝光图像的方法和电子设备 | |
CN113436576B (zh) | 应用于二维码扫描的oled显示屏调光方法及装置 | |
WO2021077911A1 (zh) | 图像泛光处理方法及装置、存储介质 | |
US20240137659A1 (en) | Point light source image detection method and electronic device | |
CN113542580B (zh) | 去除眼镜光斑的方法、装置及电子设备 | |
CN111050143A (zh) | 一种图像拍摄方法和终端设备 | |
CN117768789A (zh) | 一种拍摄方法和电子设备 | |
CN116055859B (zh) | 图像处理方法和电子设备 | |
CN115631250B (zh) | 图像处理方法与电子设备 | |
CN113810622B (zh) | 一种图像处理方法及设备 | |
CN115686182B (zh) | 增强现实视频的处理方法与电子设备 | |
CN117132511A (zh) | 一种图像处理方法及电子设备 | |
CN115706869A (zh) | 终端的图像处理方法、装置和终端设备 | |
CN116896626B (zh) | 视频运动模糊程度的检测方法和装置 | |
CN116074624B (zh) | 一种对焦方法和装置 | |
CN115705663B (zh) | 图像处理方法与电子设备 | |
CN115794476B (zh) | 内核图形系统层内存的处理方法和终端设备 | |
CN116048769B (zh) | 内存回收方法、装置和终端设备 | |
CN115150543B (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
CN116703741B (zh) | 一种图像对比度的生成方法、装置和电子设备 | |
CN116055872B (zh) | 图像获取方法、电子设备和计算机可读存储介质 | |
CN114911546A (zh) | 图像显示方法、电子设备及存储介质 | |
CN116996662A (zh) | 一种摄像头检测方法和装置 | |
CN117880645A (zh) | 一种图像处理的方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |