CN112700377A - 图像泛光处理方法及装置、存储介质 - Google Patents
图像泛光处理方法及装置、存储介质 Download PDFInfo
- Publication number
- CN112700377A CN112700377A CN201911014260.3A CN201911014260A CN112700377A CN 112700377 A CN112700377 A CN 112700377A CN 201911014260 A CN201911014260 A CN 201911014260A CN 112700377 A CN112700377 A CN 112700377A
- Authority
- CN
- China
- Prior art keywords
- image
- class
- region class
- processing
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 38
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 275
- 238000000034 method Methods 0.000 claims abstract description 106
- 230000009467 reduction Effects 0.000 claims description 65
- 238000009877 rendering Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 17
- 238000007499 fusion processing Methods 0.000 claims description 15
- 239000000463 material Substances 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 abstract description 67
- 230000006870 function Effects 0.000 description 38
- 238000004891 communication Methods 0.000 description 35
- 230000006854 communication Effects 0.000 description 35
- 230000000694 effects Effects 0.000 description 33
- 238000007726 management method Methods 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 13
- 238000010295 mobile communication Methods 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 10
- 230000008859 change Effects 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000012805 post-processing Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 125000001475 halogen functional group Chemical group 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000010349 pulsation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像泛光处理方法及装置、存储介质,属于图像处理技术领域。电子设备获取第一图像的第一亮度区域类,该第一亮度区域类中包括第一图像的一个或多个亮度区域;电子设备在确定第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度区域类相同后,获取针对第二图像的目标亮度区域类进行高斯模糊处理后得到的第一中间图像;电子设备基于第一图像以及第一中间图像,生成第一图像的泛光图像。本申请可以降低电子设备在开启泛光处理功能后在运行过程中的负载,降低电子设备的功耗。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像泛光处理方法及装置、存储介质。
背景技术
泛光是一种常见的光学现象,一般指物理相机拍摄亮度较高的物体时出现的光晕溢出现象。对图像进行泛光处理可以从视觉上提高图像的对比度,增强图像的表现力,达到较好的渲染效果。随着图像处理技术的发展,图像泛光处理已广泛应用于三维游戏和动画制作等领域。
目前,开启图像泛光处理功能的电子设备对图像进行泛光处理的过程包括:首先对原始图像进行亮度滤波处理,剔除原始图像中像素值低于亮度阈值的像素,得到滤波图像。然后分别采用1/4、1/8、1/16和1/32的缩减倍率对滤波图像进行缩减像素采样处理,得到分辨率分别为原始图像的1/4倍、1/8倍、1/16倍和1/32倍的四个低分辨率图像。再对该四个低分辨率图像分别进行高斯模糊处理。最后对原始图像以及经过高斯模糊处理的四个低分辨率图像进行图像融合处理,得到该原始图像的泛光图像。其中,该原始图像包括小尺寸的亮度区域和大尺寸的亮度区域共两个部分,对分辨率分别为原始图像的1/4倍和1/8倍的低分辨率图像进行高斯模糊处理,主要用于实现对原始图像上的小尺寸的亮度区域的泛光处理,使得原始图像上小尺寸的亮度区域达到泛光效果;对分辨率分别为原始图像的1/16倍和1/32倍的低分辨率图像进行高斯模糊处理,主要用于实现对原始图像上的大尺寸的亮度区域的泛光处理,使得图像上大尺寸的亮度区域达到泛光效果。
但是,开启图像泛光处理功能的电子设备会对每帧原始图像分别执行上述泛光处理过程,由于一次泛光处理过程中包括针对原始图像中不同尺寸的亮度区域执行的多次高斯模糊处理,而高斯模糊处理的运算复杂度较高,因此目前开启图像泛光处理功能的电子设备在运行过程中负载较大且功耗较高。
发明内容
本申请提供了一种图像泛光处理方法及装置、存储介质等,以降低开启图像泛光处理功能的电子设备在运行过程中负载和功耗。
下面通过不同的方面介绍本申请。应理解的是,以下不同方面的实现方式和有益效果可互相参考。
本申请中出现的“第一”和“第二”仅为了区分两个对象,并没有先后顺序的意思。
第一方面,提供了一种图像泛光处理方法。该方法包括:电子设备获取第一图像的第一亮度区域类,第一亮度区域类中包括第一图像的一个或多个亮度区域。在确定第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度区域类相同后,电子设备获取针对第二图像的目标亮度区域类进行高斯模糊处理后得到的第一中间图像。电子设备基于第一图像以及第一中间图像,生成第一图像的泛光图像。
可选地,泛光处理的对象可以是基于三维景渲染得到的图像;也可以是物理相机拍摄某一场景后直接生成的图像。本申请中,以第一图像和第二图像均为基于三维场景渲染得到的图像为例进行说明。其中,第一图像基于第一三维场景渲染得到,第二图像基于第二三维场景渲染得到。可选地,第一图像和第二图像可以为连续的两帧图像,即第二图像为第一图像的前一帧图像。这样,电子设备仅需存储当前显示的图像的前一帧图像,既可以完成对第一图像的第一亮度区域类与第二图像的目标亮度区域类的判断操作,且电子设备所需存储的图像的数量较少,可以保证电子设备的存储性能。
由于本申请中,电子设备在确定第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度区域类相同时,可以直接获取针对该第二图像的目标亮度区域类进行高斯模糊处理后得到的中间图像,而无需针对第一图像的第一亮度区域类进行高斯模糊处理,因此,本申请在保证第一图像的泛光效果的前提下,可以减少对第一图像进行高斯模糊处理的次数,进而降低了图像泛光处理过程的复杂度,从而降低了电子设备在开启泛光处理功能后在运行过程中的负载,降低了电子设备的功耗。
可选地,当第一图像基于第一三维场景渲染得到,第二图像基于第二三维场景渲染得到,则第一图像的第一亮度区域类与第二图像的目标亮度区域类相同,包括:第一亮度区域类中的亮度区域在第一三维场景中对应的物体模型的状态信息与目标亮度区域类中的亮度区域在第二三维场景中对应的物体模型的状态信息相同,且第一三维场景的相机参数与第二三维场景的相机参数相同。
在一些实现方式中,电子设备判断第一图像的第一亮度区域类与第二图像的目标亮度区域类是否相同的过程可以包括:
电子设备获取第一三维场景中第一亮度区域类对应的所有物体模型的状态信息,以及第二三维场景中目标亮度区域类对应的所有物体模型的状态信息。在确定第一三维场景中第一亮度区域类对应的所有物体模型的状态信息与第二三维场景中目标亮度区域类对应的所有物体模型的状态信息相同后,电子设备获取第一三维场景的相机参数以及第二三维场景的相机参数。在确定第一三维场景的相机参数与第二三维场景的相机参数相同后,电子设备确定第一亮度区域类与目标亮度区域类相同。
可选地,物体模型的状态信息可以包括位姿信息和表面材质信息。其中,该位姿信息可以包括物体模型的位置,物体模型的姿态,以及物体模型的缩放系数。该表面材质信息可以包括:物体模型的表面材质的颜色信息以及表面材质的贴图信息。相机参数包括:相机的位姿参数、视窗参数和视场角参数。
上述第一3D场景中第一亮度区域类对应的所有物体模型的状态信息与第二3D场景中目标亮度区域类对应的所有物体模型的状态信息相同,指第一亮度区域类中的第一亮度区域与目标亮度区域类中的第二亮度区域一一对应,且每个第一亮度区域对应的物体模型的状态信息与对应的第二亮度区域对应的物体模型的状态信息相同。
本申请中,当第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度区域类相同时,电子设备可以直接获取针对该目标亮度区域进行高斯模糊处理后得到的第一中间图像,并将该第一中间图像作为针对第一图像的第一亮度区域类进行高斯模糊处理后的图像。此时,开启图像泛光处理功能的电子设备在运行过程中,无需针对该第一图像的第一亮度区域类进行高斯模糊处理,降低了该电子设备的运行负载,且降低了该电子设备的功耗。
可选地,第一图像还包括第二亮度区域,第二亮度区域类包括第一图像中除背景类亮度区域以外的其它亮度区域。
在一些实现方式中,电子设备在确定第一图像的第二亮度区域类与第二图像的任一亮度区域类不同后,还可以针对第二亮度区域类进行高斯模糊处理,得到第二中间图像。则电子设备基于第一图像以及第一中间图像,生成第一图像的泛光图像的过程包括:电子设备对第一图像、第一中间图像以及第二中间图像进行图像融合处理,得到第一图像的泛光图像。
其中,电子设备可以先判断经过泛光处理的第二图像中是否存在某个亮度区域类与第一图像的第二亮度区域类相同,在确定第一图像的第二亮度区域类与第二图像的任一亮度区域类不同后,针对第二亮度区域类进行高斯模糊处理,得到第二中间图像。其中,电子设备可以先判断经过泛光处理的第二图像中是否存在某个亮度区域类与第一图像的第二亮度区域类相同的过程可以参考上述电子设备判断第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度区域类是否相同的过程,本申请对此不做赘述。
可选地,当第一亮度区域类中的亮度区域的尺寸均大于第二亮度区域类中的亮度区域的尺寸,则电子设备针对第一图像的第二亮度区域类进行高斯模糊处理的过程,包括:采用第一缩减倍率对第一图像进行缩减像素采样处理,得到第一缩减图像。对第一缩减图像进行高斯模糊处理,得到第二中间图像。或者,当第一亮度区域类中的亮度区域的尺寸均小于第二亮度区域类中的亮度区域的尺寸,则电子设备针对第一图像的第二亮度区域类进行高斯模糊处理的过程,包括:采用第二缩减倍率对第一图像进行缩减像素采样处理,得到第二缩减图像。对第二缩减图像进行高斯模糊处理,得到第二中间图像。其中,第一缩减倍率大于第二缩减倍率。
可选地,第一缩减倍率k1满足:k1=2m,m为整数,且-3≤n≤0。本申请中,第一缩减倍率可以指单一的缩减倍率,也可以指多个缩减倍率的集合。例如n可取值-2或-3,则第一缩减倍率k1包括1/4和1/8。第二缩减倍率k2可以满足:k2=2m,m为整数,且m<-3。本申请中,第二缩减倍率可以指单一的缩减倍率,也可以指多个缩减倍率的集合。例如m可取值-4或-5,则第二缩减倍率k2包括1/16和1/32。
可见,当第一图像包括多个亮度区域类时,电子设备还可以在确定经过泛光处理后的第二图像中存在某个亮度区域类与第一图像的第二亮度区域类相同时,直接获取针对第二图像中与第二亮度区域类相同的亮度区域类进行高斯模糊处理后得到中间图像,而无需针对第一图像的第二亮度区域类进行的高斯模糊处理,因此,本申请在保证第一图像的泛光效果的前提下,可以进一步减少对第一图像进行高斯模糊处理的次数,进而降低了图像泛光处理过程的复杂度,从而降低了电子设备在开启泛光处理功能后在运行过程中的负载,减少了电子设备的功耗。
在一些实现方式中,电子设备还可以针对第二亮度区域类进行高斯模糊处理,得到第二中间图像。则电子设备基于第一图像以及第一中间图像,生成第一图像的泛光图像的过程包括:电子设备对第一图像、第一中间图像以及第二中间图像进行图像融合处理,得到第一图像的泛光图像。
可选地,电子设备获取第一图像的第一亮度区域类的过程可以包括:遍历第一三维场景中的所有物体模型的标签,该标签用于指示物体模型是否为背景类物体模型。获取第一三维场景中的所有背景类物体模型,第一亮度区域类包括所有背景类物体模型在第一图像中对应的背景类亮度区域。
可选地,在基于第一图像以及第一中间图像,生成第一图像的泛光图像之前,电子设备还可以对第一图像进行亮度滤波处理。
其中,电子设备对第一图像进行亮度滤波处理,即剔除该第一图像中像素值小于亮度阈值的像素,以保留该第一图像中像素值大于或等于该亮度阈值的像素。
第二方面,提供了一种图像泛光处理装置。该装置包括多个功能模块,该多个功能模块相互作用,实现上述第一方面及其各实现方式中的方法。该多个功能模块可以基于软件、硬件或软件和硬件的结合实现,且该多个功能模块可以基于具体实现进行任意组合或分割。
第三方面,提供了一种图像泛光处理装置,例如终端。该图像泛光处理装置包括处理器和存储器。处理器通常包括CPU和GPU。存储器用于存储计算机程序;CPU用于执行存储器存储的计算机程序时实现前述第一方面任意一种图像泛光处理方法。这两种类型的处理器可以为两个芯片,也可以集成在同一块芯片上。
第四方面,提供了一种存储介质,该存储介质可以是非易失性的。该存储介质内存储有计算机程序,计算机程序在被处理组件执行时使得处理组件实现前述第一方面任意一种图像泛光处理方法。
第五方面,提供了一种包含计算机可读指令的计算机程序或计算机程序产品,当计算机程序或计算机程序产品在计算机上运行时,使得计算机执行前述第一方面任意一种图像泛光处理方法。该计算机程序产品中可以包括一个或多个程序单元,用于实现前述第一方面任意一种图像泛光处理方法。
第六方面,提供了一种芯片,例如CPU。芯片包括逻辑电路,逻辑电路可以为可编程逻辑电路。当芯片运行时用于实现前述第一方面任意一种图像泛光处理方法。
第七方面,提供了一种芯片,例如CPU。芯片包括一个或多个物理核、以及存储介质,一个或多个物理核在读取存储介质中的计算机指令后实现前述第一方面任意一种图像泛光处理方法。
综上所述,本申请提供的图像泛光处理方法,由于电子设备可以在确定第一图像中的第一亮度区域类与经过泛光处理后的第二图像的目标亮度区域类相同时,可以直接获取针对第二图像的目标亮度区域类进行高斯模糊处理后得到中间图像,而无需针对第一图像的第一亮度区域类进行的高斯模糊处理,因此,本申请在保证第一图像的泛光效果的前提下,可以减少对第一图像进行高斯模糊处理的次数,进而降低了图像泛光处理过程的复杂度,从而降低了电子设备在开启泛光处理功能后在运行过程中的负载,减少了电子设备的功耗。
另外,本申请还具有前述各个方面中所提到的效果以及其它可推导出的技术效果,在此不再赘述。
附图说明
图1是本申请实施例提供的一种拍摄场景中的泛光示意图;
图2是本申请实施例提供的一种图像泛光处理方法涉及的电子设备的结构示意图;
图3是本申请实施例结合硬件和软件提供的一种电子设备的形态示意图;
图4是本申请实施例提供的一种创建得到3D场景的流程示意图;
图5是本申请实施例提供的一种根据图形应用程序创建得到的3D场景渲染得到图像的流程示意图;
图6是本申请实施例提供的一种图像泛光处理方法的流程图;
图7是本申请实施例提供的一种判断第一图像的第一亮度区域类与第二图像的目标亮度区域类是否相同的方法流程图;
图8是本申请实施例提供的另一种图像泛光处理方法的流程图;
图9是本申请实施例提供的一个3D游戏界面的示意图;
图10是本申请实施例提供的又一种图像泛光处理方法的流程图;
图11是本申请实施例提供的一种电子设备实现图像泛光处理方法的流程示意图;
图12是本申请实施例提供的一种图像泛光处理装置的框图;
图13是本申请实施例提供的另一种图像泛光处理装置的框图;
图14是本申请实施例提供的又一种图像泛光处理装置的框图;
图15是本申请实施例提供的再一种图像泛光处理装置的框图;
图16是本申请实施例提供的又一种图像泛光处理装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
随着计算机图形硬件的发展,游戏和影视等领域中对图像呈现的效果要求越来越高。采用3A级别规格制作的游戏(例如三维(three dimensional,3D)游戏)和影视(例如动画)中图像的呈现效果越来越接近物理相机的拍摄效果。目前,可以通过对图像进行图像后处理,使图像的呈现效果接近物理相机的拍摄效果。
为便于理解,下面对本申请实施例中涉及的名词进行解释。
图像后处理:指对图像进行优化处理的过程,主要用于实现图像抗锯齿、高动态范围图像(high dynamic range,HDR)和泛光等特性的增强。图像后处理技术包括泛光处理、抗锯齿处理、运动模糊处理和景深处理等图像处理技术。图像后处理技术在一定程度上可以认为是类似于PS(photoshop)的滤镜处理技术。图像后处理的对象可以是基于三维场景渲染得到的图像。
泛光:是一种常见的光学现象。由于物理相机(也即是真实的摄像机或照相机)在拍摄画面时通常无法完美聚焦,因此,光线通过该物理相机的镜头成像的过程中,会在物体的边缘产生衍射,出现光晕溢出现象。泛光在亮度较低(弱光)的场景中并不容易察觉,但是在亮度较高(强光)场景中较为明显。因此,泛光一般指物理相机拍摄亮度较高的物体时出现的光晕溢出现象。示例地,图1是本申请实施例提供的一种拍摄场景中的泛光示意图。如图1所示,拍摄场景中有一个明亮的窗户。对于室内场景,由于物体亮度较低,因此物理相机拍摄的室内物体具有清晰的轮廓。对于室外场景,由于窗外的太阳亮度较高,因此太阳发射的光线会超出太阳自身轮廓,在其自身轮廓周围产生模糊效果,即出现泛光现象。
泛光效果:在计算机图形学中,泛光效果又称高光,是用于视频游戏、演示动画和HDR中的一种计算机图形效果。泛光效果会在高亮度物体周围产生条纹或羽毛状的光芒,以模糊图像细节,即模仿物理相机成像过程中的泛光现象,使电子设备渲染的图像显得更加真实。
通过对图像进行泛光处理可以使图像具有泛光效果,从而从视觉上提高图像的对比度,增强图像的表现力和图像真实性,达到较好的渲染效果。可选地,泛光处理的对象可以是基于3D场景渲染得到的图像;也可以是物理相机拍摄某一场景后直接生成的图像。本申请实施例中,均以泛光处理的对象为基于3D场景渲染得到的图像为例进行说明。
目前开启图像泛光处理功能的电子设备对图像进行泛光处理的过程包括:首先对原始图像进行亮度滤波处理,剔除原始图像中像素值低于亮度阈值的像素,得到滤波图像。然后分别采用1/4、1/8、1/16和1/32的缩减倍率对滤波图像进行缩减像素采样处理,得到分辨率分别为原始图像的1/4倍、1/8倍、1/16倍和1/32倍的四个低分辨率图像。再对该四个低分辨率图像分别进行高斯模糊处理。最后对原始图像以及经过高斯模糊处理的四个低分辨率图像进行图像融合处理,得到该原始图像的泛光图像。但是,开启图像泛光处理功能的电子设备对每帧原始图像分别执行上述泛光处理过程,由于一次泛光处理过程中包括针对原始图像中不同尺寸的亮度区域执行的多次高斯模糊处理,而高斯模糊处理的运算复杂度较高,因此目前开启图像泛光处理功能的电子设备在运行过程中负载较大且功耗较高。
本申请实施例提供了一种图像泛光处理方法,开启图像泛光处理功能的电子设备对第一图像进行泛光处理时,可以获取第一图像的第一亮度区域类,当第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度区域类相同时,获取针对第二图像的目标亮度区域类进行高斯模糊处理后得到的第一中间图像,并基于第一图像以及第一中间图像,生成第一图像的泛光图像。由于本申请实施例中,电子设备在确定第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度区域类相同时,可以直接获取针对该第二图像的目标亮度区域类进行高斯模糊处理后得到的中间图像,而无需针对第一图像的第一亮度区域类进行高斯模糊处理,因此,本申请实施例在保证第一图像的泛光效果的前提下,可以减少对第一图像进行高斯模糊处理的次数,进而降低了图像泛光处理过程的复杂度,从而降低了电子设备在开启泛光处理功能后在运行过程中的负载,降低了电子设备的功耗。
本申请实施例以第一图像和第二图像均为基于3D场景渲染得到的图像为例进行说明。其中,第一图像基于第一3D场景渲染得到,第二图像基于第二3D场景渲染得到。第二图像为电子设备在显示第一图像之前显示的图像。可选地,第一图像和第二图像可以为连续的两帧图像,即第二图像为第一图像的前一帧图像。这样,电子设备仅需存储当前显示的图像的前一帧图像,既可以完成对第一图像的第一亮度区域类与第二图像的目标亮度区域类的判断操作,且电子设备所需存储的图像的数量较少,可以保证电子设备的存储性能。
图2是本申请实施例提供的一种图像泛光处理方法涉及的电子设备200的结构示意图。该电子设备200可以但不限于是膝上型计算机、台式计算机、移动电话、智能手机、平板电脑、多媒体播放器、电子阅读器、智能车载设备、智能家电、人工智能设备、穿戴式设备、物联网设备、或虚拟现实/增强现实/混合现实设备等。
电子设备200可以包括处理器210,外部存储器接口220,内部存储器221,通用串行总线(universal serial bus,USB)接口230,充电管理模块240,电源管理模块241,电池242,天线1,天线2,移动通信模块250,无线通信模块260,音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,传感器模块280,按键290,马达291,指示器292,摄像头293,显示屏294,以及用户标识模块(subscriber identification module,SIM)卡接口295等。其中传感器模块280可以包括压力传感器280A,陀螺仪传感器280B,气压传感器280C,磁传感器280D,加速度传感器280E,距离传感器280F,接近光传感器280G,指纹传感器280H,温度传感器280J,触摸传感器280K,环境光传感器280L,骨传导传感器280M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中,电子设备200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备200的结构限定。在本申请另一些实施例中,电子设备200也可以采用上述实施例中不同的接口连接方式(例如总线连接方式),或多种接口连接方式的组合。
处理器210可以包括一个或多个处理单元,例如包括中央处理器(centralprocessing unit,CPU)(例如应用处理器(application processor,AP)),图形处理器(graphics processing unit,GPU),进一步的,还可以包括调制解调处理器,图像信号处理器(image signal processor,ISP),微控制器单元(microcontroller unit,MCU),视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
处理器210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器210的等待时间,因而提高了系统的效率。
在一些实施例中,处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器210可以包含多组I2C总线。处理器210可以通过不同的I2C总线接口分别耦合触摸传感器280K,充电器,闪光灯,摄像头293等。例如:处理器210可以通过I2C接口耦合触摸传感器280K,使处理器210与触摸传感器280K通过I2C总线接口通信,实现电子设备200的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器210可以包含多组I2S总线。处理器210可以通过I2S总线与音频模块270耦合,实现处理器210与音频模块270之间的通信。在一些实施例中,音频模块270可以通过I2S接口向无线通信模块260传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块270与无线通信模块260可以通过PCM总线接口耦合。在一些实施例中,音频模块270也可以通过PCM接口向无线通信模块260传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器210与无线通信模块260。例如:处理器210通过UART接口与无线通信模块260中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块270可以通过UART接口向无线通信模块260传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器210与显示屏294,摄像头293等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器210和摄像头293通过CSI接口通信,实现电子设备200的拍摄功能。处理器210和显示屏294通过DSI接口通信,实现电子设备200的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器210与摄像头293,显示屏294,无线通信模块260,音频模块270,传感器模块280等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口230是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口230可以用于连接充电器为电子设备200充电,也可以用于电子设备200与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
充电管理模块240用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块240可以通过USB接口230接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块240可以通过电子设备200的无线充电线圈接收无线充电输入。充电管理模块240为电池242充电的同时,还可以通过电源管理模块241为电子设备供电。
电源管理模块241用于连接电池242,充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入,为处理器210,内部存储器221,显示屏294,摄像头293,和无线通信模块260等供电。电源管理模块241还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块241也可以设置于处理器210中。在另一些实施例中,电源管理模块241和充电管理模块240也可以设置于同一个器件中。
电子设备200的无线通信功能可以通过天线1,天线2,移动通信模块250,无线通信模块260,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块250可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施例中,移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器270A,受话器270B等)输出声音信号,或通过显示屏294显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器210,与移动通信模块250或其他功能模块设置在同一个器件中。
无线通信模块260可以提供应用在电子设备200上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备200的天线1和移动通信模块250耦合,天线2和无线通信模块260耦合,使得电子设备200可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备200通过GPU,显示屏294,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏294和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏294用于显示图像,视频等。显示屏294包括显示面板。显示面板可以采用液晶显示屏(iquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Mini LED,Micro-LEd,Micro-OLED,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备200可以包括1个或N个显示屏294,N为大于1的正整数。
电子设备200可以通过ISP,摄像头293,视频编解码器,GPU,显示屏294以及应用处理器等实现拍摄功能。
ISP用于处理摄像头293反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头293中。
摄像头293用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备200可以包括1个或N个摄像头293,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备200在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备200可以支持一种或多种视频编解码器。这样,电子设备200可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备200的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口220可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备200的存储能力。外部存储卡通过外部存储器接口220与处理器210通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备200使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器221可以包括高速随机存取存储器,例如双倍速率同步动态随机存储器(double datarate synchronous dynamic random access memory,DDR),还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器210通过运行存储在内部存储器221的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备200的各种功能应用以及数据处理。
电子设备200可以通过音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块270用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中,音频模块270可以设置于处理器210中,或将音频模块270的部分功能模块设置于处理器210中。
扬声器270A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备200可以通过扬声器270A收听音乐,或收听免提通话。
受话器270B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备200接听电话或语音信息时,可以通过将受话器270B靠近人耳接听语音。
麦克风270C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风270C发声,将声音信号输入到麦克风270C。电子设备200可以设置至少一个麦克风270C。在另一些实施例中,电子设备200可以设置两个麦克风270C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备200还可以设置三个,四个或更多麦克风270C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口270D用于连接有线耳机。耳机接口270D可以是USB接口230,也可以是3.5毫米的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器280A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器280A可以设置于显示屏294。压力传感器280A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器280A,电极之间的电容改变。电子设备200根据电容的变化确定压力的强度。当有触摸操作作用于显示屏294,电子设备200根据压力传感器280A检测所述触摸操作强度。电子设备200也可以根据压力传感器280A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器280B可以用于确定电子设备200的运动姿态。在一些实施例中,可以通过陀螺仪传感器280B确定电子设备200围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器280B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器280B检测电子设备200抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备200的抖动,实现防抖。陀螺仪传感器280B还可以用于导航,体感游戏场景。
气压传感器280C用于测量气压。在一些实施例中,电子设备200通过气压传感器280C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器280D包括霍尔传感器。电子设备200可以利用磁传感器22280D检测翻盖皮套的开合。在一些实施例中,当电子设备200是翻盖机时,电子设备200可以根据磁传感器280D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器280E可检测电子设备200在各个方向上(一般为三轴)加速度的大小。当电子设备200静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器280F,用于测量距离。电子设备200可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备200可以利用距离传感器280F测距以实现快速对焦。
接近光传感器280G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备200通过发光二极管向外发射红外光。电子设备200使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备200附近有物体。当检测到不充分的反射光时,电子设备200可以确定电子设备200附近没有物体。电子设备200可以利用接近光传感器280G检测用户手持电子设备200贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器280G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器280L用于感知环境光亮度。电子设备200可以根据感知的环境光亮度自适应调节显示屏294亮度。环境光传感器280L也可用于拍照时自动调节白平衡。环境光传感器280L还可以与接近光传感器280G配合,检测电子设备200是否在口袋里,以防误触。
指纹传感器280H用于采集指纹。电子设备200可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器280J用于检测温度。在一些实施例中,电子设备200利用温度传感器280J检测的温度,执行温度处理策略。例如,当温度传感器280J上报的温度超过阈值,电子设备200执行降低位于温度传感器280J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备200对电池242加热,以避免低温导致电子设备200异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备200对电池242的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器280K,也称“触控器件”。触摸传感器280K可以设置于显示屏294,由触摸传感器280K与显示屏294组成触摸屏,也称“触控屏”。触摸传感器280K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏294提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器280K也可以设置于电子设备200的表面,与显示屏294所处的位置不同。
骨传导传感器280M可以获取振动信号。在一些实施例中,骨传导传感器280M可以获取人体声部振动骨块的振动信号。骨传导传感器280M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器280M也可以设置于耳机中,结合成骨传导耳机。音频模块270可以基于所述骨传导传感器280M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器280M获取的血压跳动信号解析心率信息,实现心率检测功能。
在本申请另一些实施例中,电子设备200也可以采用上述实施例中不同的接口连接方式,例如以上多种传感器中的部分或全部传感器连接MCU,通过MCU再连接AP。
按键290包括开机键,音量键等。按键290可以是机械按键。也可以是触摸式按键。电子设备200可以接收按键输入,产生与电子设备200的用户设置以及功能控制有关的键信号输入。
马达291可以产生振动提示。马达291可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏294不同区域的触摸操作,马达291也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器292可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口295用于连接SIM卡。SIM卡可以通过插入SIM卡接口295,或从SIM卡接口295拔出,实现和电子设备200的接触和分离。电子设备200可以支持2个或N个SIM卡接口,N为大于2的正整数。SIM卡接口295可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口295可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口295也可以兼容不同类型的SIM卡。SIM卡接口295也可以兼容外部存储卡。电子设备200通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备200采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备200中,不能和电子设备200分离。
电子设备200的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的安卓(Android)系统为例,示例性说明电子设备200的软件结构。当然,电子设备200的操作系统也可以是IOS系统等其它系统,本申请实施例对此不作限定。
示例地,图3是本申请实施例结合硬件和软件提供的一种电子设备的形态示意图。如图3所示,电子设备200包括安卓系统、软件和硬件。硬件包括处理器304,例如GPU和CPU等。软件包括一个或多个图形应用程序,例如参见图3,软件包括图形应用程序301A和图形应用程序301B(统称为图形应用程序301),软件还包括渲染引擎模块302和图形应用程序接口(application program interface,API)层303。示例地,软件中的图形应用程序301可以包括游戏应用程序和3D绘图应用程序等。图3中图形应用程序的数量仅用作示例性说明,不作为对本申请实施例提供的电子设备的限定。
请继续参见图3,渲染引擎模块302包括场景管理模块3021、渲染器模块3022、后处理泛光效果模块3023。场景管理模块3021中包括亮度区域类变化判断模块30211,场景管理模块3021具有渲染引擎接口;后处理泛光效果模块3023中包括优化大维度高亮区域泛光算法模块30231。图形API层303包括嵌入式系统的开放式图形库(openGL for embeddedsystems,OpenGL ES)接口层3031以及VuIkan接口(一个跨平台的绘图应用程序接口)层3032。OpenGL ES是开放式系统中针对手机、掌上电脑(personal digital assistant,PDA)和游戏主机等嵌入式设备而设计的图形库。
如图4所示,图形应用程序通过加载一个或多个物体模型,创建得到3D场景。
图形应用程序301加载一个或多个物体模型,也即是获取该一个或多个物体模型的相关数据,每个物体模型的相关数据包括该物体模型的状态信息。图形应用程序301根据该一个或多个物体模型的状态信息创建得到3D场景(又称渲染场景)。可选地,物体模型的状态信息可以包括位姿信息和表面材质信息。可选地,物体模型的位姿信息包括物体模型的位置,物体模型的姿态,以及物体模型的缩放系数。其中,物体模型的缩放系数为物体模型在每个轴向上的原始长度与在对应轴向上的显示长度的比值。物体模型的表面材质信息包括:物体模型的表面材质的颜色信息以及表面材质的贴图信息。
图形应用程序301创建得到3D场景后,通过渲染引擎接口将该3D场景中的一个或多个物体模型加载到渲染引擎模块302中。
如图5所示,渲染器模块根据图形应用程序创建得到的3D场景渲染得到图像。
渲染器模块3022根据相机参数,获取3D场景中待渲染的一个或多个物体模型,并对待渲染的一个或多个物体模型渲染,得到图像。其中,相机参数包括相机的位置参数、姿态参数、视窗参数和视场角(field of view,FOV)参数。渲染器模块3022渲染得到的图像为不具有泛光效果的图像。
图3中示出的场景管理模块3021及其包括的亮度区域类变化判断模块30211,以及后处理泛光效果模块3023及其包括的优化大维度高亮区域泛光算法模块30231的功能在下面方法实施例中说明。
应理解的是,上述图2和图3示出的软硬件仅是举例,在其他实施例中,可以采用其它类型的软件或硬件。
图6是本申请实施例提供的一种图像泛光处理方法的流程图。可以应用于上述图2或图3所示的电子设备。如图6所示,该方法包括:
步骤601、电子设备对第一图像进行亮度滤波处理。
电子设备对第一图像进行亮度滤波处理,即剔除该第一图像中像素值小于亮度阈值的像素,以保留该第一图像中像素值大于或等于该亮度阈值的像素。可选地,亮度阈值可以是固定值,即每个图像的亮度阈值均相同。或者,亮度阈值可以基于第一图像中像素的像素值确定,则不同图像的亮度阈值可能不同。其中,亮度阈值可以由电子设备基于第一图像中像素的像素值确定,亮度阈值也可以由其它设备基于第一图像中像素的像素值确定后发送至该电子设备,本申请实施例对此不作限定。
可选地,基于第一图像中像素的像素值确定亮度阈值的过程包括:根据像素值的大小将第一图像中像素划分至多个像素值区间中,该多个像素值区间中任意两个像素值区间不存在交集,且该多个像素值区间的并集为像素值的全集。从多个像素值区间中获取目标像素值区间,目标像素值区间的最大值为第一值,目标像素值区间的最小值为第二值,则满足:第一图像中像素值小于第一值的像素的数量之和大于或等于预设数量阈值,且第一图像中像素值小于第二值的像素的数量之和小于该预设数量阈值。将目标像素值区间的最小值(即第二值)、最大值(即第一值)、平均值或者中间值作为第一图像的亮度阈值。当然,第一图像的亮度阈值也可以是目标像素值区间内的其它像素值。其中,预设数量阈值可以为第一图像中像素总数的90%。
示例地,假设上述亮度阈值为目标像素值区间的平均值。第一图像的像素总数为1920×1080。多个像素值区间分别为:[0,7]、[8,15]、[16,23]、[24,31]、...、[240,247]、[248,255],第一图像中划分至该多个像素值区间的像素的数量依次为:1280、3840、1920、4800、…、8640、10368、2880。若像素值区间[0,7]、[8,15]、[16,23]、[24,31]、...、[224,231]中所有像素的数量之和小于第一图像中像素总数的90%,且像素值区间[0,7]、[8,15]、[16,23]、[24,31]、...、[224,231]、[232,239]中所有像素的数量之和大于或等于第一图像中像素总数的90%,则电子设备确定像素值区间[232,239]为目标像素值区间,进一步可以计算得到亮度阈值为:(232+233+...+238+239)/8=235.5。
步骤602、电子设备获取第一图像的第一亮度区域类,第一亮度区域类中包括第一图像的一个或多个亮度区域。
该第一图像可以包括一个或多个亮度区域类,每个亮度区域类中可以包括第一图像中不同的一个或多个亮度区域。亮度区域也可称为高亮区域,指亮度值大于或等于亮度阈值的区域。示例地,第一图像基于第一3D场景渲染得到,则上述一个或多个亮度区域可以是第一3D场景中一个或多个物体模型上的高亮区域。第一亮度区域类可以为第一图像中的任一亮度区域类。
步骤603、当第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度区域类相同时,电子设备获取针对第二图像的目标亮度区域类进行高斯模糊处理后得到的第一中间图像。
可选地,当第一图像基于第一3D场景渲染得到,第二图像基于第二3D场景渲染得到,则第一图像的第一亮度区域类与第二图像的目标亮度区域类相同,包括:第一亮度区域类中的亮度区域在第一3D场景中对应的物体模型的状态信息与目标亮度区域类中的亮度区域在第二3D场景中对应的物体模型的状态信息相同,且第一3D场景的相机参数与第二3D场景的相机参数相同。
可选地,图7是本申请实施例提供的一种判断第一图像的第一亮度区域类与第二图像的目标亮度区域类是否相同的方法流程图。如图7所示,该过程包括:
步骤6031、电子设备获取第一3D场景中第一图像的第一亮度区域类对应的所有物体模型的状态信息,以及第二3D场景中第二图像的目标亮度区域类对应的所有物体模型的状态信息。
可选地,物体模型的状态信息可以包括位姿信息和表面材质信息。其中,该位姿信息可以包括物体模型的位置,物体模型的姿态,以及物体模型的缩放系数。该表面材质信息可以包括:物体模型的表面材质的颜色信息以及表面材质的贴图信息。
示例地,假设第一图像的第一亮度区域类包括亮度区域a、亮度区域b以及亮度区域c,其中,亮度区域a为墙体A的高亮区域,亮度区域b为山体B的高亮区域,亮度区域c为天空C的高亮区域。则电子设备获取第一3D场景和第二3D场景中的墙体A、山体B以及天空C的状态信息。
步骤6032、电子设备判断第一3D场景中第一亮度区域类对应的所有物体模型的状态信息与第二3D场景中目标亮度区域类对应的所有物体模型的状态信息是否相同。当该第一亮度区域类对应的所有物体模型的状态信息和该目标亮度区域类对应的所有物体模型的状态信息相同时,执行步骤6033;当该第一亮度区域类对应的所有物体模型的状态信息和该目标亮度区域类对应的所有物体模型的状态信息不完全相同时,执行步骤6036。
其中,亮度区域类对应的所有物体模型包括亮度区域类中的每个亮度区域对应的物体模型。为了便于说明,本申请实施例中将第一亮度区域类中的亮度区域称为第一亮度区域,将目标亮度区域类中的亮度区域称为第二亮度区域。第一3D场景中第一亮度区域类对应的所有物体模型的状态信息与第二3D场景中目标亮度区域类对应的所有物体模型的状态信息相同,指第一亮度区域类中的第一亮度区域与目标亮度区域类中的第二亮度区域一一对应,且每个第一亮度区域对应的物体模型的状态信息与对应的第二亮度区域对应的物体模型的状态信息相同。
示例地,请参考上述步骤6031中的例子,当第一3D场景中的墙体A的状态信息与第二3D场景中的墙体A的状态信息相同,第一3D场景中的山体B的状态信息与第二3D场景中的山体B的状态信息相同,且第一3D场景中的天空C的状态信息与第二3D场景中的天空C的状态信息相同时,电子设备确定第一3D场景中第一亮度区域类对应的所有物体模型的状态信息与第二3D场景中目标亮度区域类对应的所有物体模型的状态信息相同。当第一3D场景中的墙体A的状态信息与第二3D场景中的墙体A的状态信息不同,第一3D场景中的山体B的状态信息与第二3D场景中的山体B的状态信息不同,和/或,第一3D场景中的天空C的状态信息与第二3D场景中的天空C的状态信息不同时,电子设备确定第一3D场景中第一亮度区域类对应的所有物体模型的状态信息与第二3D场景中目标亮度区域类对应的所有物体模型的状态信息不完全相同。
步骤6033、电子设备获取第一3D场景的相机参数以及第二3D场景的相机参数。
可选地,相机参数包括:相机的位姿参数、视窗参数和FOV参数。
步骤6034、电子设备判断第一3D场景的相机参数与第二3D场景的相机参数是否相同。当第一3D场景的相机参数与第二3D场景的相机参数相同时,执行步骤6035;当第一3D场景的相机参数与第二3D场景的相机参数不相同时,执行步骤6036。
步骤6035、电子设备确定该第一亮度区域类与该目标亮度区域类相同。
本申请实施例中,当第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度区域类相同时,电子设备可以直接获取针对该目标亮度区域进行高斯模糊处理后得到的第一中间图像,并将该第一中间图像作为针对第一图像的第一亮度区域类进行高斯模糊处理后的图像。此时,开启图像泛光处理功能的电子设备在运行过程中,无需针对该第一图像的第一亮度区域类进行高斯模糊处理,降低了该电子设备的运行负载,且降低了该电子设备的功耗。
步骤6036、电子设备确定该第一亮度区域类与该第二图像的目标亮度区域类不相同。
当第一亮度区域类对应的所有物体模型的状态信息和目标亮度区域类对应的所有物体模型的状态信息不完全相同,和/或,第一3D场景的相机参数和第二3D场景的相机参数不同时,电子设备确定第一亮度区域类相对于目标亮度区域类发生变化,即电子设备确定该第一亮度区域类与该第二图像的目标亮度区域类不相同。
可选地,当第一亮度区域类与目标亮度区域类不相同时,电子设备针对第一图像的第一亮度区域类进行高斯模糊处理,得到对应的中间图像。
可选地,上述步骤6032和步骤6034的执行先后顺序可以调换,即电子设备可以先执行步骤6034,再执行步骤6032;或者,上述步骤6032和步骤6034也可以同时执行,本申请实施例对此不作限定。
本申请实施例中,第一图像的第一亮度区域类与第二图像的目标亮度区域类相同,还包括:第一亮度区域类中亮度区域的数量与目标亮度区域类中亮度区域的数量相同;第一亮度区域类中的亮度区域在第一3D场景中对应的物体模型的类型与目标亮度区域类中的亮度区域在第二3D场景中对应的物体模型的类型相同。其中,物体模型的类型可以包括自然景物(例如山体和天空等)、建筑物、植物和动物等。则上述判断第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度区域类是否相同的过程还可以包括:电子设备判断第一亮度区域类中亮度区域的数量与目标亮度区域类中亮度区域的数量是否相同,以及第一亮度区域类中的亮度区域在第一3D场景中对应的物体模型的类型与目标亮度区域类中的亮度区域在第二3D场景中对应的物体模型的类型是否相同。
可选地,本申请实施例中,电子设备可以先判断第一亮度区域类中亮度区域的数量与目标亮度区域类中亮度区域的数量是否相同,以及第一亮度区域类中的亮度区域在第一3D场景中对应的物体模型的类型与目标亮度区域类中的亮度区域在第二3D场景中对应的物体模型的类型是否相同;在确定第一亮度区域类中亮度区域的数量与目标亮度区域类中亮度区域的数量相同,且第一亮度区域类中的亮度区域在第一3D场景中对应的物体模型的类型与目标亮度区域类中的亮度区域在第二3D场景中对应的物体模型的类型相同后,再执行上述步骤6031至步骤6036,以提高判断效率。
可选地,当第一图像和第二图像均为物理相机拍摄到的图像时,电子设备可以在获取第一图像的第一亮度区域类后,获取第二图像的目标亮度区域类,并基于图像处理技术比较第一亮度区域类和第二亮度区域类,以确定第一亮度区域类与第二亮度区域类是否相同。当然,当第一图像和第二图像均为基于3D场景渲染得到的图像时,也可以采用本方式判断第一亮度区域类与第二亮度区域类是否相同,本申请实施例对此不做限定。
步骤604、电子设备基于第一图像以及第一中间图像,生成第一图像的泛光图像。
可选地,第一图像包括一个或多个亮度区域类。
第一种情况:当第一图像包括一个亮度区域类,即第一图像仅包括第一亮度区域类时,步骤604的实现过程包括:电子设备对第一图像和第一中间图像进行图像融合处理,得到第一图像的泛光图像。
本申请实施例中,当第一图像仅包括第一亮度区域类,且该第一亮度区域类与经过泛光处理后的第二图像的目标亮度区域类相同时,电子设备可以获取针对该目标亮度区域类进行高斯模糊处理后得到的第一中间图像,并基于该第一图像和该第一中间图像生成该第一图像的泛光图像。在保证第一图像的泛光效果的前提下,无需对该第一图像进行高斯模糊处理,显著降低了图像泛光处理过程的复杂度,从而降低了电子设备在开启该泛光处理功能后在运行过程中的负载,降低了电子设备的功耗。
第二种情况:当第一图像包括多个亮度区域类时,电子设备可以针对第一图像中的每个亮度区域类分别执行上述步骤602至步骤604,得到每个亮度区域类对应的中间图像,则步骤604的实现过程包括:电子设备对第一图像以及第一图像的各个亮度区域类对应的中间图像进行图像融合处理,得到第一图像的泛光图像。
可选地,图像中亮度区域类的划分方式有多种,本申请实施例提供了两种亮度区域类的划分方式,并以第一图像包括两个亮度区域类(第一亮度区域类和第二亮度区域类)为例,对不同划分方式下,电子设备对第一图像进行泛光处理的过程进行说明。其中,第一亮度区域类和第二亮度区域类均包括第一图像的一个或多个亮度区域,且第一亮度区域类中的亮度区域与第二亮度区域类中的亮度区域不同。当然,第一图像中也可以包括三个、四个甚至更多个亮度区域类,本申请实施例对此不作限定。
在第一种可实现方式中,亮度区域类基于亮度区域的尺寸划分。第一亮度区域类中的亮度区域的尺寸均大于第二亮度区域类中亮度区域的尺寸。或者,第一亮度区域类中的亮度区域的尺寸均小于第二亮度区域类中亮度区域的尺寸。本申请实施例以第一亮度区域类中的亮度区域的尺寸均大于第二亮度区域类中亮度区域的尺寸为例进行说明。
可选地,电子设备可以存储有预设的尺寸阈值。当亮度区域的尺寸与图像的尺寸的比值大于尺寸阈值时,电子设备将该亮度区域划分至一个亮度区域类;当亮度区域的尺寸与图像的尺寸的比值小于或等于尺寸阈值时,电子设备将该亮度区域划分至另一个亮度区域类。可选地,尺寸阈值的取值范围可以为图像尺寸的3%~5%,例如,尺寸阈值可以取图像尺寸的3%、4%或5%。
可选地,图8是本申请实施例提供的另一种图像泛光处理方法的流程图。如图8所示,该方法包括:
步骤801、电子设备对第一图像进行亮度滤波处理。
此步骤的解释可参考上述步骤601,本申请实施例在此不做赘述。
步骤802、电子设备获取第一图像的第一亮度区域类。
步骤803、电子设备判断第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度区域类是否相同;当该第一亮度区域类与该目标亮度区域类相同时,执行步骤804;当该第一亮度区域类与该目标亮度区域类不同时,执行步骤805。
可选地,电子设备获取第一图像的第一亮度区域类后,确定第二图像的目标亮度区域类,该第二图像包括两个亮度区域类,目标亮度区域类中的亮度区域的尺寸均大于第二图像中的另一亮度区域类中的亮度区域的尺寸。
步骤804、电子设备获取针对第二图像的目标亮度区域类进行高斯模糊处理后得到的第一中间图像,并将该第一中间图像作为第一亮度区域类对应的中间图像。
上述步骤803和步骤804的解释可参考上述步骤603,本申请实施例在此不做赘述。电子设备在执行步骤804之后,执行步骤806。
步骤805、电子设备针对第一图像的第一亮度区域类进行高斯模糊处理,得到第一亮度区域类对应的中间图像。
本申请实施例中,由于第一图像的第一亮度区域类中的亮度区域的尺寸均大于第二亮度区域类中的亮度区域的尺寸,因此,针对第一亮度区域类进行高斯模糊处理可以认为是针对第一图像中大尺寸的亮度区域进行高斯模糊处理。此时,电子设备可以对第一图像的分辨率进行较小缩减倍率的缩减处理,以剔除该第一图像中尺寸较小的亮度区域(也即是细节部分的亮度区域)的像素,仅保留尺寸较大的亮度区域(也即是大维度的亮度区域)的像素,从而方便电子设备针对第一图像的大尺寸的亮度区域(第一亮度区域类)进行高斯模糊处理。
示例地,针对第一图像的第一亮度区域类进行高斯模糊处理的过程可以包括:电子设备先采用第二缩减倍率对第一图像进行缩减像素采样处理,得到针对该第一亮度区域类的第二缩减图像。然后对该第二缩减图像进行高斯模糊处理,得到第一亮度区域类对应的中间图像。其中,第二缩减倍率k2可以满足:k2=2m,m为整数,且m<-3。本申请实施例中,第二缩减倍率可以指单一的缩减倍率,也可以指多个缩减倍率的集合。例如m可取值-4或-5,则第二缩减倍率k2包括1/16和1/32。
可选地,当第二缩减倍率包括两个缩减倍率时,上述针对第一图像的第一亮度区域类进行高斯模糊处理的过程包括:电子设备采用两个不同的缩减倍率分别对第一图像进行缩减像素采样处理,得到两个针对该第一亮度区域类的缩减图像。然后电子设备对两个缩减图像分别进行高斯模糊处理,得到两个中间图像。本申请实施例中,第二缩减倍率包括的两个缩减倍率可以分别为1/16和1/32。
步骤806、电子设备获取第一图像的第二亮度区域类。
步骤807、电子设备判断经过泛光处理的第二图像中是否存在某个亮度区域类与第一图像的第二亮度区域类相同;当经过泛光处理的第二图像中存在某个亮度区域类与第一图像的第二亮度区域类相同时,执行步骤808;当经过泛光处理的第二图像中的任一亮度区域类与第一图像的第二亮度区域类均不相同,执行步骤809。
可选地,电子设备获取第一图像的第二亮度区域类后,获取第二图像中包含较小尺寸的亮度区域类,并判断第二亮度区域类与该较小尺寸的亮度区域类是否相同。
步骤808、电子设备获取针对第二图像中与第二亮度区域类相同的亮度区域类进行高斯模糊处理后得到的中间图像,并将该中间图像作为第二亮度区域类对应的中间图像。
上述步骤807和步骤808的解释可参考上述步骤603,本申请实施例在此不做赘述。电子设备在执行步骤808之后,执行步骤810。
步骤809、电子设备针对第一图像的第二亮度区域类进行高斯模糊处理,得到第二亮度区域类对应的中间图像。
本申请实施例中,将电子设备针对第一图像的第二亮度区域类进行高斯模糊处理得到的中间图像称为第二中间图像。由于第一图像的第二亮度区域类中的亮度区域的尺寸均小于第一亮度区域类中的亮度区域的尺寸,因此,针对第二亮度区域类进行高斯模糊处理可以认为是针对第一图像中小尺寸的亮度区域进行高斯模糊处理。此时,电子设备可以对第一图像的分辨率进行较大缩减倍率的缩减处理,可以保留该第一图像中的尺寸较小的亮度区域(也即是细节部分的亮度区域)的像素,从而能够实现对第一图像的小尺寸的亮度区域的泛光处理。另外,由于电子设备对第一图像的分辨率进行较大缩减倍率的缩减处理后可以保留第一图像中的尺寸较小的亮度区域,因此可以采用小尺寸的卷积核对缩减后的第一图像进行高斯模糊处理,由于卷积核的尺寸越大,高斯模糊处理的复杂度越高,因此本申请实施例采用小尺寸的卷积核进行高斯模糊处理的复杂度较低,使得图像泛光处理过程的复杂度较低。
示例地,针对第一图像的第二亮度区域类进行高斯模糊处理的过程可以包括:电子设备先采用第一缩减倍率对第一图像进行缩减像素采样处理,得到针对第二亮度区域类的第一缩减图像。然后对该第一缩减图像进行高斯模糊处理,得到第二中间图像。其中,第一缩减倍率k1可以满足:k1=2m,m为整数,且-3≤n≤0。本申请实施例中,第一缩减倍率可以指单一的缩减倍率,也可以指多个缩减倍率的集合。例如n可取值-2或-3,则第一缩减倍率k1包括1/4和1/8。
可选地,当第一缩减倍率包括两个缩减倍率时,上述针对第一图像的第二亮度区域类进行高斯模糊处理的过程包括:电子设备采用两个不同的缩减倍率分别对第一图像进行缩减像素采样处理,得到两个针对该第二亮度区域类的缩减图像。然后电子设备对两个缩减图像分别进行高斯模糊处理,得到两个中间图像。本申请实施例中,第一缩减倍率包括的两个缩减倍率可以分别为1/4和1/8。
步骤810、电子设备对第一图像、第一亮度区域类对应的中间图像以及第二亮度区域类对应的中间图像进行图像融合处理,得到第一图像的泛光图像。
可选地,电子设备可以不执行上述步骤807至步骤808,也即是,电子设备在执行完上述步骤806后,可以直接针对第一图像的第二亮度区域类进行高斯模糊处理,得到第二中间图像。进而保证第一图像的泛光效果。
在第二种可实现方式中,亮度区域类基于图像的亮度区域在3D场景中对应的物体模型的类别划分。
在游戏或动画等3D场景中,通常包括前景类物体模型(又称角色前景)和背景类物体模型(又称背景物体)。其中,前景类物体模型通常具有可移动、体积较小以及在连续的多帧图像中变化频率较高等特性。例如,前景类物体模型包括人物或者动物等物体模型。由于前景类物体模型的体积通常较小,因而可以认为前景类物体模型上高亮区域的尺寸通常较小,也即是前景类物体模型上高亮区域大多是尺寸较小的细节部分。背景类物体模型通常具有不可移动、体积较大以及在连续的多帧图像中变化频率较低等特性。例如,背景类物体模型包括天空、山峦和建筑物等物体模型。由于背景类物体模型的体积通常较大,因而可以认为背景类物体模型上高亮区域的尺寸通常较大,也即是背景类物体模型上高亮区域大多是尺寸较大的大维度部分。
示例地,图9是本申请实施例提供的一个3D游戏界面(即一帧图像)的示意图。如图9所示,该3D游戏界面对应的3D场景中至少包括:属于前景类物体模型的人物R,以及属于背景类物体模型的房屋墙壁P以及照射灯Q。其中,照射灯Q发出的光线照射在人物R和房屋墙壁P上。照射在人物R上的光线汇聚成一个荧光圈,在该人物R上形成尺寸较小的高亮区域M1(即图中人物R上的阴影区域)。照射在房屋墙壁P上的光线在该房屋墙壁P上形成尺寸较大的亮度区域M2(图中房屋墙壁P上的阴影区域)。
由于背景类物体模型具有在连续的多帧图像中变化频率较低的特性,因而在基于3D场景渲染得到的图像中,背景类物体模型在当前帧图像上的亮度区域较大概率上与经过泛光处理的前一帧图像上的亮度区域相同。因此本申请实施例中,在对当前帧图像进行泛光处理之前,可以先判断当前帧图像对应的3D场景中的背景类物体模型相对于前一帧图像对应的3D场景中的背景类物体模型是否发生变化,若未发生变化,则无需针对当前帧图像中背景类物体模型对应的亮度区域进行高斯模糊处理,而直接获取针对前一帧图像中背景类物体模型对应的亮度区域进行高斯模糊处理得到的中间图像,从而可以减少对图像进行高斯模糊处理的次数,进而降低了图像泛光处理过程的复杂度。
本申请实施例中,电子设备可以将3D场景中所有背景类物体模型在图像中对应的背景类亮度区域组成的集合作为第一亮度区域类,也即是,第一亮度区域类中包括该图像对应的3D场景中所有背景类物体模型对应的背景类亮度区域,该第一亮度区域类也可称为背景类。将3D场景中除背景类物体模型以外的其它物体模型在图像中对应的亮度区域组成的集合作为第二亮度区域类,也即是,第二亮度区域类中包括该图像中除背景类亮度区域以外的其它亮度区域。除背景类物体模型以外的其它物体模型包括前景类物体模型,该第二亮度区域类也可称为前景类,第二亮度区域类中的亮度区域可称为前景类亮度区域。
可选地,图10是本申请实施例提供的又一种图像泛光处理方法的流程图。如图10所示,该方法包括:
步骤1001、电子设备对第一图像进行亮度滤波处理。
此步骤的解释可参考上述步骤601,本申请实施例在此不做赘述。
步骤1002、电子设备针对第一图像的前景类进行高斯模糊处理,得到第一图像的前景类对应的中间图像。
本申请实施例中,将电子设备针对第一图像的前景类进行高斯模糊处理得到的中间图像称为第二中间图像。前景类中亮度区域的尺寸通常小于背景类中亮度区域的尺寸,电子设备针对第一图像的前景类进行高斯模糊处理的方式可以参考上述步骤809中针对小尺寸亮度区域进行高斯模糊处理的过程,本申请实施例对此不做赘述。
步骤1003、电子设备获取第一3D场景中的背景类物体模型。
第一图像基于第一3D场景渲染得到。可选地,当图像基于3D场景渲染得到时,可以通过判断图像对应的3D场景的背景类物体模型与经过泛光处理后的图像对应的3D场景的背景类物体模型是否相同,来判断该图像的背景类与该经过泛光处理后的图像的背景类是否相同。因此,电子设备获取图像的背景类可以替代为:电子设备获取图像对应的3D场景中的背景类物体模型。
可选地,电子设备获取第一3D场景中的背景类物体模型的过程可以包括:电子设备遍历第一3D场景中的所有物体模型的标签,获取第一3D场景中的所有背景类物体模型,第一亮度区域类包括所有背景类物体模型在第一图像中对应的背景类亮度区域。该标签用于指示物体模型是否为背景类物体模型。本申请实施例中,可选地,3D场景中的每个物体模型均可以携带有标签,该标签用于指示物体模型属于背景类物体模型或者前景类物体模型。该标签可以是人工标注的,也可以是电子设备根据物体模型的类别进行自动划分的。标签可以采用数值、字母或字符串等表示。示例地,当物体模型的标签为“0”时,指示该物体模型属于背景类物体模型;当物体模型的标签为“1”时,指示该物体模型属于前景类物体模型。
步骤1004、电子设备判断第一3D场景中背景类物体模型与第二3D场景中背景类物体模型是否相同;当第一3D场景中背景类物体模型与第二3D场景中背景类物体模型相同时,执行步骤1005;当第一3D场景中背景类物体模型与第二3D场景中背景类物体模型不同时,执行步骤1006。
电子设备判断第一3D场景中背景类物体模型与第二3D场景中背景类物体模型是否相同,也即是判断第一3D场景中背景类物体模型相对于第二3D场景中背景类物体模型是否发生变化。
步骤1005、电子设备获取针对第二图像的背景类进行高斯模糊处理后得到的第一中间图像,并将该第一中间图像作为第一图像的背景类对应的中间图像。
第二图像基于第二3D场景渲染得到。当第一3D场景中背景类物体模型与第二3D场景中背景类物体模型相同时,电子设备确定第一图像对应的第一3D场景中背景类物体模型相对于第二图像对应的第二3D场景中背景类物体模型未发生变化,因此可以认为第一图像的背景类与第二图像的背景类相同。
本申请实施例中,电子设备判断第一3D场景中背景类物体模型与第二3D场景中背景类物体模型是否相同的过程与上述步骤603中,电子设备判断第一图像的第一亮度区域类与第二图像的目标亮度区域类是否相同的过程相同,因此上述步骤1004和步骤1005的解释可参考上述步骤603,本申请实施例在此不做赘述。电子设备在执行步骤1005之后,执行步骤1007。
步骤1006、电子设备针对第一图像的背景类进行高斯模糊处理,得到第一图像的背景类对应的中间图像。
当第一3D场景中背景类物体模型与第二3D场景中背景类物体模型不同时,电子设备确定第一图像对应的第一3D场景中背景类物体模型相对于第二图像对应的第二3D场景中背景类物体模型发生变化,因此可以认为第一图像的背景类与第二图像的背景类不同。本申请实施例中,由于背景类中亮度区域的尺寸通常大于前景类中亮度区域的尺寸,因此,电子设备针对第一图像的背景类进行高斯模糊处理的方式可以参考上述步骤805中针对大尺寸亮度区域的高斯模糊处理的过程,本申请实施例对此不做赘述。
步骤1007、电子设备对第一图像、第一图像的背景类对应的中间图像以及第一图像的前景类对应的中间图像进行图像融合处理,得到第一图像的泛光图像。
本申请实施例中,上述步骤1003可以在步骤1001之前执行,或者也可以与步骤1001同时执行。例如,电子设备在根据第一3D场景渲染得到第一图像的同时判断第一3D场景中背景类物体模型与第二3D场景中背景类物体模型是否相同。或者,电子设备对第一图像进行亮度滤波处理的同时判断第一3D场景中背景类物体模型与第二3D场景中背景类物体模型是否相同。
可选地,在本申请实施例提供的又一种图像泛光处理方法中,电子设备也可以通过判断第一3D场景中前景类物体模型与第二3D场景中前景类物体模型是否相同,从而使得在第一3D场景中前景类物体模型与第二3D场景中前景类物体模型相同时,电子设备获取针对第二图像的前景类进行高斯模糊处理后得到的第一图像的前景类对应的中间图像。在第一3D场景中前景类物体模型与第二3D场景中前景类物体模型不同时,电子设备执行上述步骤1002针对第一图像的前景类进行高斯模糊处理,得到第一图像的前景类对应的中间图像。这样,在第一3D场景中前景类物体模型与第二3D场景中前景类物体模型相同时,获取针对第二图像的前景类进行高斯模糊处理后得到的第一图像的前景类对应的中间图像,而无需针对第一图像的前景类进行高斯模糊处理,减少对第一图像进行高斯模糊处理的次数,进而降低了图像泛光处理过程的复杂度。
本申请以下实施例对电子设备实现如图10所示的图像泛光处理方法的过程进行示例性说明。示例地,图11是本申请实施例提供的一种电子设备实现图像泛光处理方法的流程示意图。如图11所示,第一3D场景中的物体模型包括物体1、物体2、物体3、物体4、物体5和物体6。其中,物体1、物体2和物体3具有的标签均为背景标签,该背景标签用于指示物体模型属于背景类物体模型。物体4、物体5和物体6具有的标签均为前景标签(也称角色标签),该前景标签用于指示物体模型属于前景类物体模型。
电子设备的场景管理模块中存储有第一3D场景中的所有物体模型。
渲染器模块根据第一3D场景渲染得到第一图像。
优化大维度高亮区泛光算法模块采用1/4的缩减倍率对第一图像进行缩减像素采样处理,得到分辨率为原分辨率(第一图像的分辨率)的1/4倍的缩减图像(简称1/4缩减图像),然后对1/4缩减图像进行高斯模糊处理得到第一图像的前景类对应的一个中间图像(简称1/4高斯模糊结果图像);并采用1/8的缩减倍率对第一图像进行缩减像素采样处理,得到分辨率为原分辨率的1/8倍的缩减图像(简称1/8缩减图像),然后对1/8缩减图像进行高斯模糊处理得到第一图像的前景类对应的另一个中间图像(简称1/8高斯模糊结果图像)。
亮度区域类变化判断模块遍历场景管理模块中物体1至物体6,确定具有背景标签的物体1至物体3,并判断第一3D场景中物体1、物体2和物体3分别与第二3D场景中的背景类物体模型是否相同。当第一3D场景中物体1、物体2和物体3均分别与第二3D场景中的背景类物体模型相同时,优化大维度高亮区泛光算法模块获取针对第二图像进行高斯模糊处理后的中间图像(即图中示出的1/16高斯模糊结果图像和1/32高斯模糊结果图像)。当第一3D场景中物体1、物体2和物体3与第二3D场景中的背景类物体模型不同时,优化大维度高亮区泛光算法模块针对第一图像的背景类进行高斯模糊处理,得到第一图像的背景类对应的中间图像。
其中,优化大维度高亮区泛光算法模块针对第一图像的背景类进行高斯模糊处理的过程包括:优化大维度高亮区泛光算法模块采用1/16的缩减倍率对第一图像进行缩减像素采样处理,得到分辨率为原分辨率的1/16倍的缩减图像(简称1/16缩减图像),然后对1/16缩减图像进行高斯模糊处理得到第一图像的背景类对应的一个中间图像(简称1/16高斯模糊结果图像);并采用1/32的缩减倍率对第一图像进行缩减像素采样处理,得到分辨率为原分辨率的1/32倍的缩减图像(简称1/32缩减图像),然后对1/32缩减图像进行高斯模糊处理得到第一图像的背景类对应的另一个中间图像(简称1/32高斯模糊结果图像)。
优化大维度高亮区泛光算法模块获取针对第二图像进行高斯模糊处理后的中间图像的过程包括:优化大维度高亮区泛光算法模块直接获取第二图像的背景类对应的两个中间图像:1/16高斯模糊结果图像和1/32高斯模糊结果图像。
渲染引擎模块对第一图像、1/4高斯模糊结果图像、1/8高斯模糊结果图像、1/16高斯模糊结果图像以及1/32高斯模糊结果图像进行图像融合处理,得到第一图像的泛光图像。
请参见表1,假设电子设备为移动终端,表1记录有:开启图像泛光处理功能的电子设备在运行画质较高的游戏应用(例如帧率为60的游戏应用)时,采用相关技术提供的图像泛光处理方法(简称相关技术算法)时CPU和GPU的负载情况以及系统功耗情况,以及采用如图11所示的图像泛光处理方法(简称本申请算法)时CPU和GPU的负载情况以及系统功耗情况。
表1
相关技术算法 | 本申请算法 | |
GPU负载增加率 | 5% | 4% |
CPU负载增加率 | 12% | 8% |
功耗增加(毫安/mA) | 103 | 71 |
由表1可知,电子设备开启相关算法运行上述游戏应用的过程中,电子设备的GPU负载增加率为5%,CPU负载增加率为12%,而电子设备开启本申请算法运行上述游戏应用的过程中,电子设备的GPU负载增加率为4%,CPU负载增加率为8%。电子设备开启相关算法运行上述游戏应用的过程中,电子设备的功耗增加103mA,而电子设备开启本申请算法运行上述游戏应用的过程中,电子设备的功耗增加71mA。因此,相较于相关技术,电子设备采用图11所示的图像泛光处理方法可以显著降低电子设备的负载以及功耗。
在本申请实施例中,上述图像泛光处理方法中的各个步骤可以由图3所示的电子设备中相同或不同的模块执行。
示例地,渲染引擎模块302可以用于执行上述步骤601、步骤801以及步骤1001。
优化大维度高亮区域泛光算法模块30231可以用于执行上述步骤603、步骤804、步骤805、步骤808、步骤809、步骤1002、步骤1005以及步骤1006。
亮度区域类变化判断模块30211可以用于执行上述步骤602、步骤802、步骤803、步骤806、步骤807、步骤1003、步骤1004以及步骤6031至步骤6036。
后处理泛光效果模块2023可以用于执行步骤604、步骤810以及步骤1007。
渲染引擎模块302还用于将优化大维度高亮区域泛光算法模块30231生成的第一图像的泛光处理图像通过调用OpenGL ES接口层3031或者调用VuIkan接口层3032从而呈现在该终端的显示设备上。
综上所述,本申请实施例提供的图像泛光处理方法,由于电子设备可以在确定第一图像中的第一亮度区域类与经过泛光处理后的第二图像的目标亮度区域类相同时,可以直接获取针对第二图像的目标亮度区域类进行高斯模糊处理后得到中间图像,而无需针对第一图像的第一亮度区域类进行的高斯模糊处理,因此,本申请实施例在保证第一图像的泛光效果的前提下,可以减少对第一图像进行高斯模糊处理的次数,进而降低了图像泛光处理过程的复杂度,从而降低了电子设备在开启泛光处理功能后在运行过程中的负载,减少了电子设备的功耗。
另外,当第一图像包括多个亮度区域类时,电子设备还可以在确定经过泛光处理后的第二图像中存在某个亮度区域类与第一图像的第二亮度区域类相同时,直接获取针对第二图像中与第二亮度区域类相同的亮度区域类进行高斯模糊处理后得到中间图像,而无需针对第一图像的第二亮度区域类进行的高斯模糊处理,因此,本申请实施例在保证第一图像的泛光效果的前提下,可以进一步减少对第一图像进行高斯模糊处理的次数,进而降低了图像泛光处理过程的复杂度,从而降低了电子设备在开启泛光处理功能后在运行过程中的负载,减少了电子设备的功耗。
下述为本申请的装置实施例,可以用于执行本申请的方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图12,其示出了本申请实施例提供的一种图像泛光处理装置的框图,该装置1200可以包括:
第一获取模块1201,用于获取第一图像的第一亮度区域类,第一亮度区域类中包括第一图像的一个或多个亮度区域。
第二获取模块1202,用于在确定第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度区域类相同后,获取针对第二图像的目标亮度区域类进行高斯模糊处理后得到的第一中间图像。
生成模块1203,用于基于第一图像以及第一中间图像,生成第一图像的泛光图像。
可选地,第一图像基于第一三维场景渲染得到,第二图像基于第二三维场景渲染得到,第一亮度区域类与目标亮度区域类相同,包括:
第一亮度区域类中的亮度区域在第一三维场景中对应的物体模型的状态信息与目标亮度区域类中的亮度区域在第二三维场景中对应的物体模型的状态信息相同,且第一三维场景的相机参数与第二三维场景的相机参数相同。
可选地,如图13所示,该装置1200还可以包括:
第三获取模块1204,用于获取第一三维场景中第一亮度区域类对应的所有物体模型的状态信息,以及第二三维场景中目标亮度区域类对应的所有物体模型的状态信息。
第四获取模块1205,用于在确定第一三维场景中第一亮度区域类对应的所有物体模型的状态信息与第二三维场景中目标亮度区域类对应的所有物体模型的状态信息相同后,获取第一三维场景的相机参数以及第二三维场景的相机参数。
确定模块1206,用于第一三维场景的相机参数与第二三维场景的相机参数相同,确定第一亮度区域类与目标亮度区域类相同。
可选地,物体模型的状态信息包括:物体模型的位姿信息和表面材质信息,相机参数包括:相机的位姿参数、视窗参数和视场角参数。
可选地,第一获取模块1201,用于:遍历第一三维场景中的所有物体模型的标签,标签用于指示物体模型是否为背景类物体模型;获取第一三维场景中的所有背景类物体模型,第一亮度区域类包括所有背景类物体模型在第一图像中对应的背景类亮度区域。
可选地,第一图像还包括第二亮度区域,第二亮度区域类包括第一图像中除背景类亮度区域以外的其它亮度区域,如图14所示,该装置1200还可以包括:
高斯模糊处理模块1207,用于针对第二亮度区域类进行高斯模糊处理,得到第二中间图像。生成模块1203,用于:对第一图像、第一中间图像以及第二中间图像进行图像融合处理,得到第一图像的泛光图像。
可选地,第一图像还包括第二亮度区域类,第二亮度区域类包括第一图像的一个或多个亮度区域,可替代的,上述高斯模糊处理模块1207,用于在确定第一图像的第二亮度区域类与第二图像的任一亮度区域类不同后,针对第二亮度区域类进行高斯模糊处理,得到第二中间图像。生成模块,用于:对第一图像、第一中间图像以及第二中间图像进行图像融合处理,得到第一图像的泛光图像。
可选地,第一亮度区域类中的亮度区域的尺寸均大于第二亮度区域类中的亮度区域的尺寸,高斯模糊处理模块1207,用于:采用第一缩减倍率对第一图像进行缩减像素采样处理,得到第一缩减图像;对第一缩减图像进行高斯模糊处理,得到第二中间图像;
或者,第一亮度区域类中的亮度区域的尺寸均小于第二亮度区域类中的亮度区域的尺寸,高斯模糊处理模块1207,用于:采用第二缩减倍率对第一图像进行缩减像素采样处理,得到第二缩减图像;对第二缩减图像进行高斯模糊处理,得到第二中间图像。其中,第一缩减倍率大于第二缩减倍率。
可选地,第一缩减倍率k1满足:k1=2n,n为整数,且-3≤n≤0;第二缩减倍率k2满足:k2=2m,m为整数,且m<-3。
可选地,如图15所示,该装置1200还可以包括:
滤波处理模块1208,用于在基于第一图像以及第一中间图像,生成第一图像的泛光图像之前,对第一图像进行亮度滤波处理。
可选地,第一图像和第二图像为连续的两帧图像,第二图像为第一图像的前一帧图像。
综上所述,本申请实施例提供的图像泛光处理装置,由于可以在确定第一图像中的第一亮度区域类与经过泛光处理后的第二图像的目标亮度区域类相同时,可以直接获取针对第二图像的目标亮度区域类进行高斯模糊处理后得到中间图像,而无需针对第一图像的第一亮度区域类进行的高斯模糊处理,因此,本申请实施例在保证第一图像的泛光效果的前提下,可以减少对第一图像进行高斯模糊处理的次数,进而降低了图像泛光处理过程的复杂度,从而降低了图像泛光处理装置在开启泛光处理功能后在运行过程中的负载,减少了图像泛光处理装置的功耗。
另外,当第一图像包括多个亮度区域类时,图像泛光处理装置还可以在确定经过泛光处理后的第二图像中存在某个亮度区域类与第一图像的第二亮度区域类相同时,直接获取针对第二图像中与第二亮度区域类相同的亮度区域类进行高斯模糊处理后得到中间图像,而无需针对第一图像的第二亮度区域类进行的高斯模糊处理,因此,本申请实施例在保证第一图像的泛光效果的前提下,可以进一步减少对第一图像进行高斯模糊处理的次数,进而降低了图像泛光处理过程的复杂度,从而降低了图像泛光处理装置在开启泛光处理功能后在运行过程中的负载,减少了图像泛光处理装置的功耗。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
并且,以上装置中的各个模块可以通过软件或软件硬件结合的方式来实现。当至少一个模块是硬件的时候,该硬件可以是逻辑集成电路模块,可具体包括晶体管、逻辑门阵列或算法逻辑电路等。至少一个模块是软件的时候,该软件以计算机程序产品形式存在,并被存储于计算机可读存储介质中。该软件可以被一个处理器执行。因此可替换地,图像泛光处理装置,可以由一个处理器执行软件程序来实现,本实施例对此不限定。
本申请实施例还提供了一种图像泛光处理装置,如图16所示,该装置包括处理器1601和存储器1602;在处理器1601执行存储器1602存储的计算机程序时,图像泛光处理装置执行本申请实施例提供的图像泛光处理方法。可选地,该图像泛光处理装置可以部署在终端中。
可选地,该装置还包括通信接口1603和总线1604。该处理器1601、存储器1602、通信接口1603通过总线1604通信连接。其中,通信接口1603为多个,用于在处理器1601的控制下与其他设备通信;处理器1601能够通过总线1604调用存储器1602中存储的计算机程序。
本申请实施例还提供了一种存储介质,该存储介质可以为非易失性计算机可读存储介质,存储介质内存储有计算机程序,该计算机程序指示处理组件执行本申请实施例提供的任一的图像泛光处理方法。该存储介质可以包括:只读存储器(read-only memory,ROM)或随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。
本申请实施例还提供了一种包含指令的计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行本申请实施例提供的图像泛光处理方法。该计算机程序产品可以包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者通过该计算机可读存储介质进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
本申请实施例还提供了一种芯片,例如CPU芯片,该芯片包括一个或多个物理核、以及存储介质,所述一个或多个物理核在读取所述存储介质中的计算机指令后实现前述图像泛光处理方法。另一些实施例中,该芯片可以用纯硬件或软硬结合的方式实现前述图像泛光处理方法,即所述芯片包括逻辑电路,当所述芯片运行时所述逻辑电路用于实现本申请实施例提供的任意一种图像泛光处理方法,所述逻辑电路可以为可编程逻辑电路。类似的,GPU也可以如CPU般实现。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本申请实施例中,术语“第一”、“第二”和“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“至少一个”是指一个或多个,术语“多个”指两个或两个以上,除非另有明确的限定。
本申请中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的构思和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (24)
1.一种图像泛光处理方法,其特征在于,所述方法包括:
获取第一图像的第一亮度区域类,所述第一亮度区域类中包括所述第一图像的一个或多个亮度区域;
在确定所述第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度区域类相同后,获取针对所述第二图像的目标亮度区域类进行高斯模糊处理后得到的第一中间图像;
基于所述第一图像以及所述第一中间图像,生成所述第一图像的泛光图像。
2.根据权利要求1所述的方法,其特征在于,所述第一图像基于第一三维场景渲染得到,所述第二图像基于第二三维场景渲染得到,所述第一亮度区域类与所述目标亮度区域类相同,包括:
所述第一亮度区域类中的亮度区域在所述第一三维场景中对应的物体模型的状态信息与所述目标亮度区域类中的亮度区域在所述第二三维场景中对应的物体模型的状态信息相同,且所述第一三维场景的相机参数与所述第二三维场景的相机参数相同。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
获取所述第一三维场景中所述第一亮度区域类对应的所有物体模型的状态信息,以及所述第二三维场景中所述目标亮度区域类对应的所有物体模型的状态信息;
在确定所述第一三维场景中所述第一亮度区域类对应的所有物体模型的状态信息与所述第二三维场景中所述目标亮度区域类对应的所有物体模型的状态信息相同后,获取所述第一三维场景的相机参数以及所述第二三维场景的相机参数;
在确定所述第一三维场景的相机参数与所述第二三维场景的相机参数相同后,确定所述第一亮度区域类与所述目标亮度区域类相同。
4.根据权利要求2或3所述的方法,其特征在于,所述物体模型的状态信息包括:所述物体模型的位姿信息和表面材质信息,所述相机参数包括:相机的位姿参数、视窗参数和视场角参数。
5.根据权利要求2至4任一所述的方法,其特征在于,所述获取第一图像的第一亮度区域类,包括:
遍历所述第一三维场景中的所有物体模型的标签,所述标签用于指示物体模型是否为背景类物体模型;
获取所述第一三维场景中的所有所述背景类物体模型,所述第一亮度区域类包括所有所述背景类物体模型在所述第一图像中对应的背景类亮度区域。
6.根据权利要求5所述的方法,其特征在于,所述第一图像还包括第二亮度区域,所述第二亮度区域类包括所述第一图像中除所述背景类亮度区域以外的其它亮度区域,所述方法还包括:
针对所述第二亮度区域类进行高斯模糊处理,得到第二中间图像;
所述基于所述第一图像以及所述第一中间图像,生成所述第一图像的泛光图像,包括:
对所述第一图像、所述第一中间图像以及所述第二中间图像进行图像融合处理,得到所述第一图像的泛光图像。
7.根据权利要求1至5任一所述的方法,其特征在于,所述第一图像还包括第二亮度区域类,所述第二亮度区域类包括所述第一图像的一个或多个亮度区域,所述方法还包括:
在确定所述第一图像的第二亮度区域类与所述第二图像的任一亮度区域类不同后,针对所述第二亮度区域类进行高斯模糊处理,得到第二中间图像;
所述基于所述第一图像以及所述第一中间图像,生成所述第一图像的泛光图像,包括:
对所述第一图像、所述第一中间图像以及所述第二中间图像进行图像融合处理,得到所述第一图像的泛光图像。
8.根据权利要求6或7所述的方法,其特征在于,所述第一亮度区域类中的亮度区域的尺寸均大于所述第二亮度区域类中的亮度区域的尺寸,所述针对所述第一图像的第二亮度区域类进行高斯模糊处理,包括:
采用第一缩减倍率对所述第一图像进行缩减像素采样处理,得到第一缩减图像;
对所述第一缩减图像进行高斯模糊处理,得到所述第二中间图像;
或者,所述第一亮度区域类中的亮度区域的尺寸均小于所述第二亮度区域类中的亮度区域的尺寸,所述针对所述第一图像的第二亮度区域类进行高斯模糊处理,包括:
采用第二缩减倍率对所述第一图像进行缩减像素采样处理,得到第二缩减图像;
对所述第二缩减图像进行高斯模糊处理,得到所述第二中间图像;
其中,所述第一缩减倍率大于所述第二缩减倍率。
9.根据权利要求8所述的方法,其特征在于,所述第一缩减倍率k1满足:k1=2n,n为整数,且-3≤n≤0;所述第二缩减倍率k2满足:k2=2m,m为整数,且m<-3。
10.根据权利要求1至9任一所述的方法,其特征在于,在所述基于所述第一图像以及所述第一中间图像,生成所述第一图像的泛光图像之前,所述方法还包括:
对所述第一图像进行亮度滤波处理。
11.根据权利要求1至10任一所述的方法,其特征在于,所述第一图像和所述第二图像为连续的两帧图像,所述第二图像为所述第一图像的前一帧图像。
12.一种图像泛光处理装置,其特征在于,所述装置包括:
第一获取模块,用于获取第一图像的第一亮度区域类,所述第一亮度区域类中包括所述第一图像的一个或多个亮度区域;
第二获取模块,用于在确定所述第一图像的第一亮度区域类与经过泛光处理的第二图像的目标亮度区域类相同后,获取针对所述第二图像的目标亮度区域类进行高斯模糊处理后得到的第一中间图像;
生成模块,用于基于所述第一图像以及所述第一中间图像,生成所述第一图像的泛光图像。
13.根据权利要求12所述的装置,其特征在于,所述第一图像基于第一三维场景渲染得到,所述第二图像基于第二三维场景渲染得到,所述第一亮度区域类与所述目标亮度区域类相同,包括:
所述第一亮度区域类中的亮度区域在所述第一三维场景中对应的物体模型的状态信息与所述目标亮度区域类中的亮度区域在所述第二三维场景中对应的物体模型的状态信息相同,且所述第一三维场景的相机参数与所述第二三维场景的相机参数相同。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
第三获取模块,用于获取所述第一三维场景中所述第一亮度区域类对应的所有物体模型的状态信息,以及所述第二三维场景中所述目标亮度区域类对应的所有物体模型的状态信息;
第四获取模块,用于在确定所述第一三维场景中所述第一亮度区域类对应的所有物体模型的状态信息与所述第二三维场景中所述目标亮度区域类对应的所有物体模型的状态信息相同后,获取所述第一三维场景的相机参数以及所述第二三维场景的相机参数;
确定模块,用于在确定所述第一三维场景的相机参数与所述第二三维场景的相机参数相同后,确定所述第一亮度区域类与所述目标亮度区域类相同。
15.根据权利要求13或14所述的装置,其特征在于,所述物体模型的状态信息包括:所述物体模型的位姿信息和表面材质信息,所述相机参数包括:相机的位姿参数、视窗参数和视场角参数。
16.根据权利要求13至15任一所述的装置,其特征在于,所述第一获取模块,用于:
遍历所述第一三维场景中的所有物体模型的标签,所述标签用于指示物体模型是否为背景类物体模型;
获取所述第一三维场景中的所有所述背景类物体模型,所述第一亮度区域类包括所有所述背景类物体模型在所述第一图像中对应的背景类亮度区域。
17.根据权利要求16所述的装置,其特征在于,所述第一图像还包括第二亮度区域,所述第二亮度区域类包括所述第一图像中除所述背景类亮度区域以外的其它亮度区域,所述装置还包括:
高斯模糊处理模块,用于针对所述第二亮度区域类进行高斯模糊处理,得到第二中间图像;
所述生成模块,用于:
对所述第一图像、所述第一中间图像以及所述第二中间图像进行图像融合处理,得到所述第一图像的泛光图像。
18.根据权利要求12至16任一所述的装置,其特征在于,所述第一图像还包括第二亮度区域类,所述第二亮度区域类包括所述第一图像的一个或多个亮度区域,所述装置还包括:
高斯模糊处理模块,用于在确定所述第一图像的第二亮度区域类与所述第二图像的任一亮度区域类不同后,针对所述第二亮度区域类进行高斯模糊处理,得到第二中间图像;
所述生成模块,用于:
对所述第一图像、所述第一中间图像以及所述第二中间图像进行图像融合处理,得到所述第一图像的泛光图像。
19.根据权利要求17或18所述的装置,其特征在于,所述第一亮度区域类中的亮度区域的尺寸均大于所述第二亮度区域类中的亮度区域的尺寸,所述高斯模糊处理模块,用于:
采用第一缩减倍率对所述第一图像进行缩减像素采样处理,得到第一缩减图像;
对所述第一缩减图像进行高斯模糊处理,得到所述第二中间图像;
或者,所述第一亮度区域类中的亮度区域的尺寸均小于所述第二亮度区域类中的亮度区域的尺寸,所述高斯模糊处理模块,用于:
采用第二缩减倍率对所述第一图像进行缩减像素采样处理,得到第二缩减图像;
对所述第二缩减图像进行高斯模糊处理,得到所述第二中间图像;
其中,所述第一缩减倍率大于所述第二缩减倍率。
20.根据权利要求19所述的装置,其特征在于,所述第一缩减倍率k1满足:k1=2n,n为整数,且-3≤n≤0;所述第二缩减倍率k2满足:k2=2m,m为整数,且m<-3。
21.根据权利要求12至20任一所述的装置,其特征在于,所述装置还包括:
滤波处理模块,用于在所述基于所述第一图像以及所述第一中间图像,生成所述第一图像的泛光图像之前,对所述第一图像进行亮度滤波处理。
22.根据权利要求12至21任一所述的装置,其特征在于,所述第一图像和所述第二图像为连续的两帧图像,所述第二图像为所述第一图像的前一帧图像。
23.一种存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序指示处理组件执行如权利要求1至11任一所述的图像泛光处理方法。
24.一种图像泛光处理装置,其特征在于,包括:处理器和存储器;
所述存储器,用于存储计算机程序,所述计算机程序包括程序指令;
所述处理器,用于调用所述计算机程序,实现如权利要求1至11任一所述的图像泛光处理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911014260.3A CN112700377A (zh) | 2019-10-23 | 2019-10-23 | 图像泛光处理方法及装置、存储介质 |
EP20879379.4A EP4036842A4 (en) | 2019-10-23 | 2020-09-02 | IMAGE FLOOD PROCESSING METHOD AND APPARATUS AND STORAGE MEDIA |
PCT/CN2020/113088 WO2021077911A1 (zh) | 2019-10-23 | 2020-09-02 | 图像泛光处理方法及装置、存储介质 |
US17/726,674 US20220245778A1 (en) | 2019-10-23 | 2022-04-22 | Image bloom processing method and apparatus, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911014260.3A CN112700377A (zh) | 2019-10-23 | 2019-10-23 | 图像泛光处理方法及装置、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112700377A true CN112700377A (zh) | 2021-04-23 |
Family
ID=75505368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911014260.3A Pending CN112700377A (zh) | 2019-10-23 | 2019-10-23 | 图像泛光处理方法及装置、存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220245778A1 (zh) |
EP (1) | EP4036842A4 (zh) |
CN (1) | CN112700377A (zh) |
WO (1) | WO2021077911A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113837990A (zh) * | 2021-06-11 | 2021-12-24 | 荣耀终端有限公司 | 一种噪声的监测方法、电子设备、芯片系统及存储介质 |
WO2022233256A1 (zh) * | 2021-05-07 | 2022-11-10 | 华为技术有限公司 | 一种显示方法与电子设备 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116433829B (zh) * | 2023-06-09 | 2023-08-18 | 北京全路通信信号研究设计院集团有限公司 | 场景可视化监控方法、装置、设备及存储介质 |
CN117314795B (zh) * | 2023-11-30 | 2024-02-27 | 成都玖锦科技有限公司 | 一种利用背景数据的sar图像增强方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8233738B2 (en) * | 2007-07-30 | 2012-07-31 | Dolby Laboratories Licensing Corporation | Enhancing dynamic ranges of images |
US8885978B2 (en) * | 2010-07-05 | 2014-11-11 | Apple Inc. | Operating a device to capture high dynamic range images |
JP2013038504A (ja) * | 2011-08-04 | 2013-02-21 | Sony Corp | 撮像装置、および画像処理方法、並びにプログラム |
CN102819852B (zh) * | 2012-05-31 | 2017-12-29 | 新奥特(北京)视频技术有限公司 | 一种在图像中生成光晕的方法 |
CN106550244A (zh) * | 2015-09-16 | 2017-03-29 | 广州市动景计算机科技有限公司 | 视频图像的画质增强方法及装置 |
CN105608209B (zh) * | 2015-12-29 | 2020-03-20 | 南威软件股份有限公司 | 一种视频标注方法和视频标注装置 |
CN106997608A (zh) * | 2016-01-22 | 2017-08-01 | 五八同城信息技术有限公司 | 一种生成光晕效果图的方法及装置 |
CN111510592A (zh) * | 2016-08-29 | 2020-08-07 | 华为技术有限公司 | 光照处理方法及装置以及摄像装置 |
US10147166B2 (en) * | 2016-09-23 | 2018-12-04 | Apple Inc. | Methods and systems for spatially localized image editing |
-
2019
- 2019-10-23 CN CN201911014260.3A patent/CN112700377A/zh active Pending
-
2020
- 2020-09-02 WO PCT/CN2020/113088 patent/WO2021077911A1/zh unknown
- 2020-09-02 EP EP20879379.4A patent/EP4036842A4/en active Pending
-
2022
- 2022-04-22 US US17/726,674 patent/US20220245778A1/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022233256A1 (zh) * | 2021-05-07 | 2022-11-10 | 华为技术有限公司 | 一种显示方法与电子设备 |
CN113837990A (zh) * | 2021-06-11 | 2021-12-24 | 荣耀终端有限公司 | 一种噪声的监测方法、电子设备、芯片系统及存储介质 |
CN113837990B (zh) * | 2021-06-11 | 2022-09-30 | 荣耀终端有限公司 | 一种噪声的监测方法、电子设备、芯片系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021077911A1 (zh) | 2021-04-29 |
EP4036842A1 (en) | 2022-08-03 |
EP4036842A4 (en) | 2022-12-14 |
US20220245778A1 (en) | 2022-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021052232A1 (zh) | 一种延时摄影的拍摄方法及设备 | |
CN111107292B (zh) | 一种录像帧率的控制方法、移动终端及计算机存储介质 | |
CN112532892B (zh) | 图像处理方法及电子装置 | |
CN113973173B (zh) | 图像合成方法和电子设备 | |
CN113810601B (zh) | 终端的图像处理方法、装置和终端设备 | |
CN117063461A (zh) | 一种图像处理方法和电子设备 | |
WO2021077911A1 (zh) | 图像泛光处理方法及装置、存储介质 | |
CN113170037B (zh) | 一种拍摄长曝光图像的方法和电子设备 | |
CN113810603B (zh) | 点光源图像检测方法和电子设备 | |
CN111770282B (zh) | 图像处理方法及装置、计算机可读介质及终端设备 | |
CN113542580B (zh) | 去除眼镜光斑的方法、装置及电子设备 | |
CN112351156A (zh) | 一种镜头切换方法及装置 | |
CN112541861B (zh) | 图像处理方法、装置、设备及计算机存储介质 | |
CN110138999B (zh) | 一种用于移动终端的证件扫描方法及装置 | |
CN114727220A (zh) | 一种设备搜寻方法以及电子设备 | |
CN115150542B (zh) | 一种视频防抖方法及相关设备 | |
CN116708751B (zh) | 一种拍照时长的确定方法、装置和电子设备 | |
CN116055859B (zh) | 图像处理方法和电子设备 | |
WO2022033344A1 (zh) | 视频防抖方法、终端设备和计算机可读存储介质 | |
CN113573045B (zh) | 杂光检测方法及杂光检测装置 | |
CN115686182B (zh) | 增强现实视频的处理方法与电子设备 | |
CN114332331A (zh) | 一种图像处理方法和装置 | |
CN116703741B (zh) | 一种图像对比度的生成方法、装置和电子设备 | |
CN116847204A (zh) | 一种目标识别方法、电子设备及存储介质 | |
CN118113386A (zh) | 转场动效生成方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |