CN111882498A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111882498A CN111882498A CN202010666502.3A CN202010666502A CN111882498A CN 111882498 A CN111882498 A CN 111882498A CN 202010666502 A CN202010666502 A CN 202010666502A CN 111882498 A CN111882498 A CN 111882498A
- Authority
- CN
- China
- Prior art keywords
- processed
- hdr image
- space
- hdr
- ldr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 title claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 51
- 238000012805 post-processing Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000013507 mapping Methods 0.000 claims description 57
- 238000012360 testing method Methods 0.000 claims description 40
- 239000012634 fragment Substances 0.000 claims description 20
- 230000006978 adaptation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 22
- 230000000694 effects Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 208000003028 Stuttering Diseases 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像处理方法、装置、电子设备及存储介质，涉及图像处理技术领域。其中，该方法通过将待处理高动态范围HDR图像中每个像素映射至低动态范围LDR空间，采用预设算法获取待处理HDR图像在LDR空间下的片段颜色参数，将所述待处理HDR图像在LDR空间下的片段颜色参数映射至HDR空间，并进行HDR后处理操作，获取处理后的HDR图像，在此过程中，由于在进行后处理操作时是基于整个像素，而不是基于MSAA中的所有子样本，因此，本申请可以减少在片段着色上的开销，且还可以解决现有深度缓冲和模板缓冲较大的问题，减少计算量和内存占用空间。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
多重采样抗锯齿技术(MultiSampling Anti-Aliasing，MSAA)原理是寻找出图像边缘部分的像素，然后再把图像缩放到当前的显示器上，使画面更加平滑。其中，MSAA在低动态范围图像(Low-Dynamic Range，LDR)上可以很好的进行抗锯齿，消除图像的边缘锯齿效应，而随着硬件的快速发展，高动态范围图像(High-Dynamic Range，HDR)几乎成为了次世代游戏的标配。
现有的，为了使得将MSAA应用到HDR图像时，避免某个子样本的亮度过大而拉大整体的亮度，得不到模糊边缘抗锯齿的效果，其一般作法是不在MSAA阶段决定像素的颜色，而是对每个子样本分别进行色调映射，然后在完成HDR后处理后进行得到每个像素颜色以此解决上述亮度差距过大的问题。
但现有的处理方法中，由于保留了MSAA中所有子样本，所以在HDR后进行的所有后处理都需要处理所有的子样本，因此，现有的处理方法计算量较大，比较占用内存空间。
发明内容
本申请的目的在于，针对上述现有技术中的不足，提供一种图像处理方法、装置、电子设备及存储介质，可以解决现有处理方法计算量较大，占用内存空间大的技术问题。
为实现上述目的，本申请实施例采用的技术方案如下：
第一方面，本申请实施例提供了一种图像处理方法，包括：
将待处理高动态范围HDR图像中每个像素映射至低动态范围LDR空间，获取待处理HDR图像在LDR空间下的片段颜色参数；
将待处理HDR图像在LDR空间下的片段颜色参数映射至HDR空间，并进行HDR后处理操作，获取处理后的HDR图像。
可选地，上述将待处理高动态范围HDR图像中每个像素映射至低动态范围LDR空间，获取待处理HDR图像在LDR空间下的片段颜色参数，包括：
采用MSAA算法获取待处理HDR图像的多个子样本，其中，每个像素包含多个子样本；
根据第一预设算法将每个子样本映射至LDR空间，获取待处理HDR图像在LDR空间下的片段颜色参数。
可选地，上述将待处理HDR图像在LDR空间下的片段颜色参数映射至HDR空间，并进行HDR后处理操作，获取处理后的HDR图像，包括：
根据第二预设算法将待处理HDR图像在LDR空间的片段颜色参数映射至HDR空间，获取映射后的片段颜色参数，第一预设算法与第二预设算法为互逆运算；
基于映射后的片段颜色参数对待处理HDR图像进行HDR后处理操作，获取处理后的HDR图像。
可选地，上述获取处理后的HDR图像之后，还包括：
将处理后的HDR图像映射至LDR空间，获取处理后的HDR图像在LDR空间中的片段颜色参数；
根据处理后的HDR图像在LDR空间中的片段颜色参数，在LDR空间显示处理后的HDR图像。
可选地，上述将处理后的HDR图像映射至LDR空间，获取处理后的HDR图像在LDR空间中的片段颜色参数，包括：
根据第一预设算法将处理后的HDR图像映射至LDR空间，获取处理后的HDR图像在LDR空间中的片段颜色参数。
可选地，上述根据处理后的HDR图像在LDR空间中的片段颜色参数，在LDR空间显示处理后的HDR图像，包括：
基于处理后的HDR图像在LDR空间中的片段颜色参数，对处理后的HDR图像在LDR空间中的片段进行深度测试和/或模板测试；
若测试通过，获取片段对应的像素参数；
根据像素参数，在LDR空间显示处理后的HDR图像。
可选地，上述后处理操作包括下述至少一种：泛光操作、颜色分级、人眼适应、景深、反射。
可选地，上述片段颜色参数包括下述至少一种：像素的像素位置，像素的深度值，像素的纹理坐标。
第二方面，本申请实施例提供了一种图像处理装置，包括：获取模块和映射模块；
获取模块，用于将待处理高动态范围HDR图像中每个像素映射至低动态范围LDR空间，获取待处理HDR图像在LDR空间下的片段颜色参数；
映射模块，用于将待处理HDR图像在LDR空间下的片段颜色参数映射至HDR空间，并进行HDR后处理操作，获取处理后的HDR图像。
可选地，上述获取模块，具体用于采用MSAA算法获取待处理HDR图像的多个子样本，其中，每个像素包含多个子样本；
根据第一预设算法将每个子样本映射至LDR空间，获取待处理HDR图像在LDR空间下的片段颜色参数。
可选地，上述映射模块，用于根据第二预设算法将待处理HDR图像在LDR空间的片段颜色参数映射至HDR空间，获取映射后的片段颜色参数，第一预设算法与第二预设算法为互逆运算；
基于映射后的片段颜色参数对待处理HDR图像进行HDR后处理操作，获取处理后的HDR图像。
可选地，上述装置还包括：显示模块，用于将处理后的HDR图像映射至LDR空间，获取处理后的HDR图像在LDR空间中的片段颜色参数；
根据处理后的HDR图像在LDR空间中的片段颜色参数，在LDR空间显示处理后的HDR图像。
可选地，上述显示模块，具体用于根据第一预设算法将处理后的HDR图像映射至LDR空间，获取处理后的HDR图像在LDR空间中的片段颜色参数。
可选地，上述显示模块，具体用于基于处理后的HDR图像在LDR空间中的片段颜色参数，对处理后的HDR图像在LDR空间中的片段进行深度测试和/或模板测试；
若测试通过，获取片段对应的像素参数；
根据像素参数，在LDR空间显示处理后的HDR图像。
可选地，上述后处理操作包括下述至少一种：泛光操作、颜色分级、人眼适应、景深、反射。
可选地，上述片段颜色参数包括下述至少一种：像素的像素位置，像素的深度值，像素的纹理坐标。
第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行上述第一方面的图像处理方法的步骤。
第四方面，本申请实施例提供了一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述第一方面的图像处理方法的步骤。
本申请的有益效果是：
本申请实施例提供的一种图像处理方法、装置、电子设备及存储介质中，通过将待处理高动态范围HDR图像中每个像素映射至低动态范围LDR空间，采用预设算法获取待处理HDR图像在LDR空间下的片段颜色参数，将待处理HDR图像在LDR空间下的片段颜色参数映射至HDR空间，并进行HDR后处理操作，获取处理后的HDR图像，在此过程中，由于在进行后处理操作时是基于整个像素，而不是基于MSAA中的所有子样本，因此，本申请可以减少在片段着色上的开销，且还可以解决现有深度缓冲和模板缓冲较大的问题，减少计算量和内存占用空间。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种图像处理方法的流程示意图；
图2为本申请实施例提供的另一种图像处理方法的流程示意图；
图3为本申请实施例提供的又一种图像处理方法的流程示意图；
图4为本申请实施例提供的第一预设函数和第二预设函数的曲线对比示意图；
图5为本申请实施例提供的另一种图像处理方法的流程示意图；
图6为本申请实施例提供的又一种图像处理方法的流程示意图；
图7为本申请实施例提供的一种图像处理装置的功能模块示意图；
图8为本申请实施例提供的另一种图像处理装置的功能模块示意图；
图9为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在介绍本申请之前，为了便于理解本申请，首先对本申请中的相关名词进行解释：
高动态范围图像(High-Dynamic Range，HDR)：HDR图像相比普通的图像，可以提供更多的动态范围和图像细节，其颜色最大亮度可以超过1。
低动态范围图像(Low-Dynamic Range，LDR)：LDR图像与HDR图像相对应，LDR图像能够存储的最大亮度不超过1。
抗锯齿(Anti-Aliasing，AA)：也译为抗锯齿或边缘柔化、消除混叠、抗图像折叠有损等，它是一种消除显示器输出的画面中图物边缘出现凹凸锯齿的技术，那些凹凸的锯齿通常因为高分辨率的信号以低分辨率表示或无法准确运算出3D图形坐标定位时所导致的图形混叠(Aliasing)而产生的，抗锯齿技术能有效地解决这些问题。
多重采样抗锯齿(Multi Sampling Anti-Aliasing，MSAA)：一种硬件的抗锯齿技术，其原理是寻找出物体边缘部分的像素，然后再把画缩放到当前的显示器上。
色调映射算法Tone Mapping：指对图像颜色进行映射变换的算法，其目的是为了调整图像的灰度，使得处理后的图像人眼看起来更加舒适，能更好的表达原图里的信息与特征；通常被理解为将颜色值从高动态范围(HDR)映射至低动态范围(LDR)的过程。通过色调映射算法可以将场景亮度变换到可以显示的范围，并保证图像细节不丢失，不失真。
深度缓冲区：深度缓冲区与帧缓冲区相对应，用于记录上面每个像素的深度值，通过深度缓冲区，我们可以进行深度测试，从而确定像素的遮挡关系，保证渲染正确。
深度测试：深度缓冲区记录着每个像素点的深度，在绘制每个像素之前，如果启用了深度缓冲，系统会把它的深度值和已经存储在缓冲里的这个像素的深度值进行比较。如果新像素深度值小于原先像素深度值，则新像素值会取代原先的；反之，新像素值被遮挡，它的颜色值和深度将被丢弃。
模板缓冲区：与颜色缓冲区和深度缓冲区类似，模板缓冲区可以为屏幕上的每个像素点保存一个无符号整数值，这个值的具体意义视程序的具体应用而定。
模板测试：在渲染的过程中，可以用模板缓冲区中每个像素点保存的无符号整数值与一个预先设定的参考值相比较，根据比较的结果来决定是否更新相应的像素点的颜色值，这个比较的过程被称为模板测试。模板测试发生在透明度测试(alpha test)之后，深度测试(depth test)之前。如果模板测试通过，则相应的像素点更新，否则不更新。当启动模板测试时，通过模板测试的片段像素点会被替换到颜色缓冲区中，从而显示出来，未通过的则不会保存到颜色缓冲区中，从而达到了过滤的功能。
对于HDR图像来说，由于HDR图像的颜色最大亮度可以超过1，而且在边缘处颜色亮度相差较大，如果在HDR图像直接基于MSAA的子样本(sub-samples)解析得到每个像素颜色的话，会由于某个子样本的亮度过大而拉大整体的亮度，得不到模糊边缘抗锯齿的效果，达不到很好的抗锯齿效果。
因此，现有的为了解决上述得到的亮度差距过大的问题，其一般做法是推迟resolve的阶段，不在MSAA阶段决定像素(pixel)的颜色，而是对每个sub-samples分别进行色调映射tone mapping，然后在完成后处理后进行resolve来解决上面提到的亮度差距过大的问题。但现有方式处理方式中，由于保留了MSAA中的所有sub-samples，所以在HDR后进行的所有后处理(比如，Bloom)都需要处理所有的sub-samples，因此，对所有的sub-samples进行片段着色fragment shader是一个非常大的开销；此外，该处理过程中，由于像素的深度缓冲和模板缓冲的大小也是原来的4倍(比如，以4-MSAA来说)，其内存和计算量都较大，会降低后处理的处理效率，造成系统卡顿的现象。
有鉴于此，本申请提供一种图像处理方法，该图像处理方法可以减少计算量和内存占用空间，提升后处理的效率，减少系统卡顿的现象，同时可以在HDR中利用硬件MSAA得到边缘过渡缓和的画面，具体可参见下述实施例的说明。
图1为本申请实施例提供的一种图像处理方法的流程示意图，该方法的执行主体可以是计算机、服务器、处理器等可以进行图像处理的设备，本申请在此不作限定。如图1所示，该方法可以包括：
S110、将待处理高动态范围HDR图像中每个像素映射至低动态范围LDR空间，获取待处理HDR图像在LDR空间下的片段颜色参数。
其中，对于待处理高动态范围HDR图像，本申请可以采用预设映射算法将该待处理高动态范围HDR图像中每个像素映射至低动态范围LDR空间，所以后续在进行后处理操作时，则是基于整个像素，而不是基于MSAA中的所有子样本sub-samples。可选地，上述映射算法可以是可以基于色调映射技术Tone Mapping实现，但不以此为限，根据实际的应用场景可灵活调整。在将待处理HDR图像映射至LDR空间后，那么可以采用预设片段颜色获取算法获取该待处理HDR图像在LDR空间下的片段颜色参数，当然，本申请在此对该预设片段颜色获取算法不作具体限定，根据实际的应用场景可以灵活选择。
在此过程中，相对现有技术来说，因为现有的映射算法是对片段的RGB三个通道进行操作的，所以后续的后处理操作(比如Bloom)会改变每个通道的值，导致色相hue发生改变，而本申请是对片段的颜色进行tone mapping，所以不会改变色相，也即在HDR的后处理阶段无需处理所有的子样本sub-samples，从而可以减少在片段着色fragment shader上的开销，且还可以解决现有深度缓冲和模板缓冲较大的问题，减少计算量和内存占用空间。
S120、将待处理HDR图像在LDR空间下的片段颜色参数映射至HDR空间，并进行HDR后处理操作，获取处理后的HDR图像。
其中，为了使得可以在HDR空间计算后处理效果，则需将待处理HDR图像在LDR空间下的片段颜色参数映射至HDR空间，在HDR空间进行HDR后处理操作，其中，该后处理操作可以包括泛光操作、颜色分级、景深等处理操作，但不以此为限。
综上，本申请实施例提供的图像处理方法，通过将待处理高动态范围HDR图像中每个像素映射至低动态范围LDR空间，采用预设算法获取待处理HDR图像在LDR空间下的片段颜色参数，将待处理HDR图像在LDR空间下的片段颜色参数映射至HDR空间，并进行HDR后处理操作，获取处理后的HDR图像，在此过程中，由于在进行后处理操作时是基于整个像素，而不是基于MSAA中的所有子样本，因此，本申请可以减少在片段着色上的开销，且还可以解决现有深度缓冲和模板缓冲较大的问题，减少计算量和内存占用空间。
图2为本申请实施例提供的另一种图像处理方法的流程示意图。可选地，如图2所示，上述将待处理高动态范围HDR图像中每个像素映射至低动态范围LDR空间，获取待处理HDR图像在LDR空间下的片段颜色参数，包括：
S210、采用MSAA算法获取待处理HDR图像的多个子样本，其中，每个像素包含多个子样本。
其中，对于待处理高动态范围HDR图像，可以利用MSAA渲染场景，通过MSAA算法可以将每个像素pixel分成多个子样本sub-samples，当然，本申请在此并不限定每个像素所包括的子样本数，根据实际的应用场景可以包括4、8、16等。
S220、根据第一预设算法将每个子样本映射至LDR空间，获取待处理HDR图像在LDR空间下的片段颜色参数。
在获取到上述待处理HDR图像的多个子样本后，那么可以将每个子样本映射至LDR空间，从而可以获取到待处理HDR图像在LDR空间下的片段颜色参数，也即可以实现在MSAA阶段对子样本sub-samples进行resolve以得到每个像素颜色，减少深度缓冲和模板缓冲的大小，优化了内存，进而后续则是基于像素进行后处理操作，后处理操作不需要处理所有的sub-samples，如此可以减少计算运算量，同时通过该处理过程得到的图片的边缘模糊效果也较好，减少了锯齿效应，可以达到很好的抗锯齿效果。其中，上述在进行resolve时，GPU会根据每个子样本sub-sample的覆盖率以及片段的覆盖信息来得到每个像素颜色。
图3为本申请实施例提供的又一种图像处理方法的流程示意图。可选地，如图3所示，上述将待处理HDR图像在LDR空间下的片段颜色参数映射至HDR空间，并进行HDR后处理操作，获取处理后的HDR图像，包括：
S310、根据第二预设算法将待处理HDR图像在LDR空间的片段颜色参数映射至HDR空间，获取映射后的片段颜色参数。
其中，第一预设算法与第二预设算法可以为互逆运算，如此可以使得通过第一预设算法将每个子样本映射至LDR空间后，后续通过该第二预设算法可以映射回去，保证后处理操作的正确性。
S320、基于映射后的片段颜色参数对待处理HDR图像进行HDR后处理操作，获取处理后的HDR图像。
由于HDR后处理操作需要在HDR空间来进行，因此，本申请基于上述实施例得到待处理HDR图像在LDR空间下的片段颜色参数之后，还需要将待处理HDR图像在LDR空间的片段颜色参数映射至HDR空间，满足HDR后处理操作的空间要求，得到映射后的片段颜色参数，进而后续可以基于该映射后的片段颜色参数对待处理HDR图像进行HDR后处理操作，最终得到处理后的HDR图像。
可选地，若第一预设算法对应第一预设函数，第二预设算法对应第二预设函数，图4为本申请实施例提供的第一预设函数和第二预设函数的曲线对比示意图。
基于上述实施例的相关内容，本申请在此举例说明：对于某待处理高动态范围HDR图像，可以采用MSAA算法获取该待处理HDR图像的多个子样本，在获取到多个子样本后，那么可以采用第一预设算法(比如，Reinhard函数，其中，该Reinhard函数可以为y＝x/(1+x)，x可以表示子样本的颜色值，y可以表示待处理HDR图像在LDR空间下的片段颜色参数)将每个子样本映射至LDR空间，通过resolve得到待处理HDR图像在LDR空间下的片段颜色参数；然后可以采用第二预设算法(比如，Reinhard函数的逆变换函数，其中，该逆变换函数可以为y＝x/(1-x)，其中，x可以表示待处理HDR图像在LDR空间的片段颜色参数，y可以表示映射后的片段颜色参数)将待处理HDR图像在LDR空间的片段颜色参数映射至HDR空间，获取映射后的片段颜色参数；在HDR线性空间中，基于映射后的片段颜色参数对待处理HDR图像进行HDR后处理操作，计算所有后处理效果，得到处理后的HDR图像。
基于上述处理后的HDR图像，可以再次采用第一预设函数(比如，前述的Reinhard函数)将处理后的HDR图像映射至LDR空间中，获取该处理后的HDR图像在LDR空间中的片段颜色参数；根据该处理后的HDR图像在LDR空间中的片段颜色参数，在LDR空间显示处理后的HDR图像。
其中，如图4所示，其横坐标表示要处理的片段的颜色数值，纵坐标表示经过映射后的片段的颜色数值；其中，第一预设函数可以对应曲线S1、第二预设函数可以对应曲线S2，第一预设函数和第二预设函数是反函数的关系，也就是通过第一预设函数的tonemapping进行映射后的值可以通过第二预设函数的tone mapping映射回来，如此可以保证后续进行后处理操作的正确性。
图5为本申请实施例提供的另一种图像处理方法的流程示意图。可选地，如图5所示，上述获取处理后的HDR图像之后，还包括：
S410、将处理后的HDR图像映射至LDR空间，获取处理后的HDR图像在LDR空间中的片段颜色参数。
S420、根据处理后的HDR图像在LDR空间的片段颜色参数，在LDR空间显示处理后的HDR图像。
其中，在得到上述处理后的HDR图像后，若需要对该图像进行显示，使得人眼看起来更加舒适，能更好的表达原图中的信息与特征，则还需要将该处理后的HDR图像映射至LDR空间，获取该处理后的HDR图像在LDR空间中的片段颜色参数，也即将该处理后的HDR图像的颜色值从高动态范围(HDR)映射至低动态范围(LDR)，进而在LDR空间显示该处理后的HDR图像时，可以将该处理后的HDR图像的场景亮度变换到可以显示的范围，并保证图像细节不丢失，不失真。且基于本申请所提供的图像处理方法，在LDR空间显示处理后的HDR图像时，图像的边缘模糊效果很好，减少锯齿效应，可以达到很好的抗锯齿效果。
可选地，上述将处理后的HDR图像映射至LDR空间，获取处理后的HDR图像在LDR空间中的片段颜色参数，包括：
根据第一预设算法将处理后的HDR图像映射至LDR空间，获取处理后的HDR图像在LDR空间中的片段颜色参数。
其中，将处理后HDR图像映射至LDR空间时，可以采用与前述相同的算法，也即前述第一预设算法，具体可参见前述的相关部分，本申请在此不作赘述。当然，需要说明的是，根据实际的应用场景，此处的算法也可以不同，本申请在此不作限定。
图6为本申请实施例提供的又一种图像处理方法的流程示意图。可选地，如图6所示，上述根据处理后的HDR图像在LDR空间中的片段颜色参数，在LDR空间显示处理后的HDR图像，包括：
S510、基于处理后的HDR图像在LDR空间中的片段颜色参数，对处理后的HDR图像在LDR空间中的片段进行深度测试和/或模板测试。
S520、若测试通过，获取该片段对应的像素参数。
S530、根据像素参数，在LDR空间显示处理后的HDR图像。
其中，上述像素参数可以包括像素的亮度参数、色相参数等相关参数，本申请在此不作限定。对于深度测试和模板测试的相关说明可参见前述的相关部分，本申请在此不作赘述，根据实际的应用场景可以选择相应的测试功能，比如，可以选择深度测试，或选择模板测试，又或者两者均选择。当然，需要说明的是，实际场景中，也并不仅局限于这两种测试，还可以包括其他测试，本申请在此不作限定。而当测试通过时，则可以获取该片段对应的像素参数，根据该像素参数即可在LDR空间显示处理后的HDR图像。
综上，应用申请实施例所提供的图像处理方法可以减少内存占用空间和计算量，提升后处理的效率，减少系统卡顿的现象，比如，应用于游戏场景时，则其可以减少游戏卡顿的现象，提高用户体验，同时可以在HDR中利用硬件MSAA得到边缘过渡缓和的画面。
可选地，上述后处理操作包括下述至少一种：泛光操作、颜色分级、人眼适应、景深、反射。
其中，泛光操作即Bloom，通过泛光操作能够将光照范围调高达到过饱和，也就是让亮的地方更亮；颜色分级即Color Grading，通过颜色分级可以改变或矫正最终图像的颜色和亮度；人眼适应即Eye Adaptation，通过人眼适应可以模拟人眼在不同光照情况下，自适应调整眼睛使得能看到更多信息。
景深即Depth of Field，就是当焦距对准某一点时，焦平面前后图像仍然清晰的范围，由于直接渲染的3D图像并没有景深的效果，不管距离焦距远近都是同样的清晰，而为了突出重点，虚化背景，使渲染效果更加真实，也即通过景深操作能决定是把背景模糊化来突出拍摄对象，还是拍出清晰的背景；反射即Reflection，是一个渲染中很重要的一个效果，在表现光滑表面，水面等材质的时候，加上反射可以画面效果有很大的提升。
其中，根据实际的应用场景，后处理操作可以包括上述的一种或多种操作，本申请在此不作限定。当然，需要说明的是，除过上述的后处理操作，还可以包括其他后处理操作，本申请在此不作限定。
可选地，上述片段颜色参数可以包括下述至少一种：像素的像素位置，像素的深度值，像素的纹理坐标。
其中，为了便于理解本申请，在此说明下像素和片段的关系，其中，片段本质不是像素，它是潜在的像素，通过光栅化将一个图元(例如三角形)转变为一个二维图像，二维图像上每个点都包含了像素位置，深度值，纹理坐标，则将该点和相关信息(比如，像素的颜色等)叫做一个片段。当片段通过深度测试和/或模板测试后，它才是缓冲区的像素。当然，需要说明的是，片段颜色参数除过上述所列举的，还可以包括其他参数，本申请在此不作限定。
图7为本申请实施例提供的一种图像处理装置的功能模块示意图，该装置基本原理及产生的技术效果与前述对应的方法实施例相同，为简要描述，本实施例中未提及部分，可参考方法实施例中的相应内容。如图7所示，该图像处理装置100包括：获取模块110和映射模块120。
获取模块110，用于将待处理高动态范围HDR图像中每个像素映射至低动态范围LDR空间，获取待处理HDR图像在LDR空间下的片段颜色参数；
映射模块120，用于将待处理HDR图像在LDR空间下的片段颜色参数映射至HDR空间，并进行HDR后处理操作，获取处理后的HDR图像。
可选地，上述获取模块110，具体用于采用MSAA算法获取待处理HDR图像的多个子样本，其中，每个像素包含多个子样本；根据第一预设算法将每个子样本映射至LDR空间，获取待处理HDR图像在LDR空间下的片段颜色参数。
可选地，上述映射模块120，用于根据第二预设算法将待处理HDR图像在LDR空间的片段颜色参数映射至HDR空间，获取映射后的片段颜色参数，第一预设算法与第二预设算法为互逆运算；基于映射后的片段颜色参数对待处理HDR图像进行HDR后处理操作，获取处理后的HDR图像。
图8为本申请实施例提供的另一种图像处理装置的功能模块示意图。可选地，如图8所示，上述装置还包括：显示模块130，用于将处理后的HDR图像映射至LDR空间，获取处理后的HDR图像在LDR空间中的片段颜色参数；根据处理后的HDR图像在LDR空间中的片段颜色参数，在LDR空间显示处理后的HDR图像。
可选地，上述显示模块130，具体用于根据第一预设算法将处理后的HDR图像映射至LDR空间，获取处理后的HDR图像在LDR空间中的片段颜色参数。
可选地，上述显示模块130，具体用于基于处理后的HDR图像在LDR空间中的片段颜色参数，对处理后的HDR图像在LDR空间中的片段进行深度测试和/或模板测试；若测试通过，获取片段对应的像素参数；根据像素参数，在LDR空间显示处理后的HDR图像。
可选地，上述后处理操作包括下述至少一种：泛光操作、颜色分级、人眼适应、景深、反射。
可选地，上述片段颜色参数包括下述至少一种：像素的像素位置，像素的深度值，像素的纹理坐标。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Signal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图9为本申请实施例提供的一种电子设备结构示意图。如图9所示，该电子设备可以包括：处理器210、存储介质220和总线230，存储介质220存储有处理器210可执行的机器可读指令，当电子设备运行时，处理器210与存储介质220之间通过总线230通信，处理器210执行机器可读指令，以执行上述方法实施例的步骤。具体实现方式和技术效果类似，这里不再赘述。
可选地，本申请还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述方法实施例的步骤。具体实现方式和技术效果类似，这里不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (11)
1.一种图像处理方法，其特征在于，包括：
将待处理高动态范围HDR图像中每个像素映射至低动态范围LDR空间，获取所述待处理HDR图像在LDR空间下的片段颜色参数；
将所述待处理HDR图像在LDR空间下的片段颜色参数映射至HDR空间，并进行HDR后处理操作，获取处理后的HDR图像。
2.根据权利要求1所述的方法，其特征在于，所述将待处理高动态范围HDR图像中每个像素映射至低动态范围LDR空间，获取所述待处理HDR图像在LDR空间下的片段颜色参数，包括：
采用MSAA算法获取所述待处理HDR图像的多个子样本，其中，每个所述像素包含多个所述子样本；
根据第一预设算法将每个所述子样本映射至LDR空间，获取所述待处理HDR图像在LDR空间下的片段颜色参数。
3.根据权利要求2所述的方法，其特征在于，所述将所述待处理HDR图像在LDR空间下的片段颜色参数映射至HDR空间，并进行HDR后处理操作，获取处理后的HDR图像，包括：
根据第二预设算法将所述待处理HDR图像在LDR空间的片段颜色参数映射至HDR空间，获取映射后的片段颜色参数，所述第一预设算法与所述第二预设算法为互逆运算；
基于所述映射后的片段颜色参数对所述待处理HDR图像进行HDR后处理操作，获取处理后的HDR图像。
4.根据权利要求2所述的方法，其特征在于，所述获取处理后的HDR图像之后，还包括：
将所述处理后的HDR图像映射至LDR空间，获取所述处理后的HDR图像在LDR空间中的片段颜色参数；
根据所述处理后的HDR图像在LDR空间中的片段颜色参数，在LDR空间显示所述处理后的HDR图像。
5.根据权利要求4所述的方法，其特征在于，所述将所述处理后的HDR图像映射至LDR空间，获取所述处理后的HDR图像在LDR空间中的片段颜色参数，包括：
根据所述第一预设算法将所述处理后的HDR图像映射至LDR空间，获取所述处理后的HDR图像在LDR空间中的片段颜色参数。
6.根据权利要求4所述的方法，其特征在于，所述根据所述处理后的HDR图像在LDR空间中的片段颜色参数，在LDR空间显示所述处理后的HDR图像，包括：
基于所述处理后的HDR图像在LDR空间中的片段颜色参数，对所述处理后的HDR图像在LDR空间中的片段进行深度测试和/或模板测试；
若测试通过，获取所述片段对应的像素参数；
根据所述像素参数，在LDR空间显示所述处理后的HDR图像。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述后处理操作包括下述至少一种：泛光操作、颜色分级、人眼适应、景深、反射。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述片段颜色参数包括下述至少一种：像素的像素位置，像素的深度值，像素的纹理坐标。
9.一种图像处理装置，其特征在于，包括：获取模块和映射模块；
所述获取模块，用于将待处理高动态范围HDR图像中每个像素映射至低动态范围LDR空间，获取所述待处理HDR图像在LDR空间下的片段颜色参数；
所述映射模块，用于将所述待处理HDR图像在LDR空间下的片段颜色参数映射至HDR空间，并进行HDR后处理操作，获取处理后的HDR图像。
10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-8任一项所述图像处理方法的步骤。
11.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-8任一项所述图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010666502.3A CN111882498A (zh) | 2020-07-10 | 2020-07-10 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010666502.3A CN111882498A (zh) | 2020-07-10 | 2020-07-10 | 图像处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111882498A true CN111882498A (zh) | 2020-11-03 |
Family
ID=73150538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010666502.3A Pending CN111882498A (zh) | 2020-07-10 | 2020-07-10 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111882498A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113542608A (zh) * | 2021-07-15 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
| WO2024046105A1 (zh) * | 2022-08-30 | 2024-03-07 | 腾讯科技（深圳）有限公司 | 图像的抗锯齿方法、装置、设备、介质及程序产品 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104995903A (zh) * | 2013-02-21 | 2015-10-21 | 皇家飞利浦有限公司 | 改进的hdr图像编码和解码方法及设备 |
| CN106464892A (zh) * | 2014-05-28 | 2017-02-22 | 皇家飞利浦有限公司 | 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置 |
| CN107045715A (zh) * | 2017-02-22 | 2017-08-15 | 西南科技大学 | 一种单幅低动态范围图像生成高动态范围图像的方法 |
| EP3373585A1 (en) * | 2017-03-09 | 2018-09-12 | Thomson Licensing | Method for inverse tone mapping of an image with visual effects |
| CN111223061A (zh) * | 2020-01-07 | 2020-06-02 | Oppo广东移动通信有限公司 | 图像修正方法、修正装置、终端设备及可读存储介质 |
-
2020
- 2020-07-10 CN CN202010666502.3A patent/CN111882498A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104995903A (zh) * | 2013-02-21 | 2015-10-21 | 皇家飞利浦有限公司 | 改进的hdr图像编码和解码方法及设备 |
| CN109064433A (zh) * | 2013-02-21 | 2018-12-21 | 皇家飞利浦有限公司 | 改进的hdr图像编码和解码方法及设备 |
| CN106464892A (zh) * | 2014-05-28 | 2017-02-22 | 皇家飞利浦有限公司 | 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置 |
| CN107045715A (zh) * | 2017-02-22 | 2017-08-15 | 西南科技大学 | 一种单幅低动态范围图像生成高动态范围图像的方法 |
| EP3373585A1 (en) * | 2017-03-09 | 2018-09-12 | Thomson Licensing | Method for inverse tone mapping of an image with visual effects |
| CN111223061A (zh) * | 2020-01-07 | 2020-06-02 | Oppo广东移动通信有限公司 | 图像修正方法、修正装置、终端设备及可读存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113542608A (zh) * | 2021-07-15 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
| CN113542608B (zh) * | 2021-07-15 | 2022-08-02 | 腾讯科技（深圳）有限公司 | 图像处理方法及装置 |
| WO2024046105A1 (zh) * | 2022-08-30 | 2024-03-07 | 腾讯科技（深圳）有限公司 | 图像的抗锯齿方法、装置、设备、介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10810708B2 (en) | Denoising filter | |
| CN111508052B (zh) | 三维网格体的渲染方法和装置 | |
| US9805447B2 (en) | Methods of and apparatus for processing computer graphics | |
| US9965876B2 (en) | Method and apparatus for graphics processing of a graphics fragment | |
| US8044971B2 (en) | Methods of and apparatus for processing computer graphics | |
| US8040352B2 (en) | Adaptive image interpolation for volume rendering | |
| CN112652046B (zh) | 游戏画面的生成方法、装置、设备及存储介质 | |
| US20070120858A1 (en) | Generation of motion blur | |
| WO2009120830A1 (en) | Methods and apparatus for visual sub-band decomposition of signals | |
| GB2456919A (en) | Anti-aliasing computer generated graphics by alpha testing each sampling point of fragment individually | |
| WO2013142506A1 (en) | Methods and systems for enhanced quality anti-aliasing | |
| CN111882498A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US10417813B2 (en) | System and method for generating temporally stable hashed values | |
| US8462156B1 (en) | Method and system for generating shadows in a graphics processing unit | |
| CN109542574B (zh) | 一种基于OpenGL的弹窗背景虚化方法和装置 | |
| WO2023177888A1 (en) | Locking mechanism for image classification | |
| CN113283543B (zh) | 一种基于WebGL的图像投影融合方法、装置、存储介质和设备 | |
| Lambers et al. | Interactive dynamic range reduction for SAR images | |
| Petikam et al. | Visual perception of real world depth map resolution for mixed reality rendering | |
| Jia et al. | Research of color correction algorithm for multi-projector screen based on projector-camera system | |
| Ahokas | Shadow Maps | |
| WO2023208385A1 (en) | A soft shadow algorithm with contact hardening effect for mobile gpu | |
| CN116957967A (zh) | 3d界面色差解决方法、系统、设备及介质 | |
| WO2023177887A1 (en) | Super resolution upscaling | |
| CN114241076A (zh) | 图片物体纹理替换方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |