CN118197192A - 图像显示方法及装置、计算机可读介质和电子设备 - Google Patents
图像显示方法及装置、计算机可读介质和电子设备 Download PDFInfo
- Publication number
- CN118197192A CN118197192A CN202211600544.2A CN202211600544A CN118197192A CN 118197192 A CN118197192 A CN 118197192A CN 202211600544 A CN202211600544 A CN 202211600544A CN 118197192 A CN118197192 A CN 118197192A
- Authority
- CN
- China
- Prior art keywords
- display
- image data
- brightness
- determining
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013507 mapping Methods 0.000 claims abstract description 76
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 238000005315 distribution function Methods 0.000 claims description 7
- 230000000750 progressive effect Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000013506 data mapping Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 17
- 230000000694 effects Effects 0.000 abstract description 16
- 230000006870 function Effects 0.000 description 13
- 238000003860 storage Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004088 simulation Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 241001598984 Bromius obscurus Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Landscapes
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Abstract
本公开提供一种图像显示方法及装置、计算机可读介质和电子设备，涉及图像处理技术领域。该方法包括：获取原始图像数据，以及确定用于显示所述原始图像数据的显示单元的屏幕显示参数；根据所述屏幕显示参数确定映射曲线；基于所述原始图像数据以及所述映射曲线确定目标图像数据；通过所述目标图像数据确定目标显示亮度，并控制所述显示单元以所述目标显示亮度渲染显示所述目标图像数据。本公开可以扩展显示标准动态范围图像的动态与对比度，增强其显示效果，在低比特位深下通过映射曲线减少断层、跳阶，同时，可以适应各种类型的显示器，无需支持高动态范围图像的解码显示要求或亮度要求，适用范围较广。
Description
技术领域
本公开涉及图像处理技术领域，具体涉及一种图像显示方法、图像显示装置、计算机可读介质和电子设备。
背景技术
动态范围是指图像中的最暗部到最亮部的范围，一般采用最亮部与最暗部的比值来表示。动态范围越大，图像的显示效果越接近于真实场景的视觉效果。
标准动态范围(Standard Dynamic Range，SDR)是一种基于阴极射线管显示器亮度、对比度和颜色特性来限制表示光强度的通用视频图像标准。目前，SDR标准规定的最大显示亮度为100尼特(nit)，而市场上大多数的显示设备的峰值亮度均大于100尼特(nit)，如大多数显示设备的峰值亮度一般处于500-1000尼特(nit)，为了使原来的SDR内容能够更好地适配亮度较高的显示设备，需要一种对SDR内容进行转换的方案。
发明内容
本公开的目的在于提供一种图像显示方法、图像显示装置、计算机可读介质和电子设备，进而实现对SDR图像的转换，使SDR图像适配亮度较高的显示设备，提升SDR图像的显示效果。
根据本公开的第一方面，提供一种图像显示方法，包括：
获取原始图像数据，以及确定用于显示所述原始图像数据的显示单元的屏幕显示参数；
根据所述屏幕显示参数确定映射曲线；
基于所述原始图像数据以及所述映射曲线确定目标图像数据；
通过所述目标图像数据确定目标显示亮度，并控制所述显示单元以所述目标显示亮度渲染显示所述目标图像数据。
根据本公开的第二方面，提供一种图像显示装置，包括：
图像数据获取模块，用于获取原始图像数据，以及确定用于显示所述原始图像数据的显示单元的屏幕显示参数；
映射曲线确定模块，用于根据所述屏幕显示参数确定映射曲线；
图像数据映射模块，用于基于所述原始图像数据以及所述映射曲线确定目标图像数据；
图像扩展显示模块，用于通过所述目标图像数据确定目标显示亮度，并控制所述显示单元以所述目标显示亮度渲染显示所述目标图像数据。
根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。
根据本公开的第四方面，提供一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
本公开的一种实施例所提供的图像显示方法，可以确定用于显示原始图像数据的显示单元的屏幕显示参数，并根据屏幕显示参数确定映射曲线，基于原始图像数据以及映射曲线确定目标图像数据，进而可以通过目标图像数据确定目标显示亮度，并控制显示单元以目标显示亮度渲染显示目标图像数据。一方面，通过确定映射曲线将原始图像数据映射到适配显示单元的目标图像数据，并基于目标图像数据确定显示单元的目标显示亮度，控制显示单元以目标显示亮度渲染显示目标图像数据，能够在显示单元中扩展显示原始图像数据的动态范围以及对比度，提升原始图像数据显示到显示单元中的显示效果；另一方面，通过显示单元的屏幕显示参数确定映射曲线，能够提升映射后的目标图像数据与显示单元的亮度区间之间的适配性，充分利用显示单元的硬件性能，保证显示的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；
图2示意性示出本公开示例性实施例中一种图像显示方法的流程示意图；
图3示意性示出本公开示例性实施例中一种实现原始图像数据的渲染显示的流程示意图；
图4示意性示出本公开示例性实施例中一种确定映射曲线的流程示意图；
图5示意性示出本公开示例性实施例中一种未通过亮度增长率阈值限制的亮度曲线图；
图6示意性示出本公开示例性实施例中一种通过亮度增长率阈值限制的亮度曲线图；
图7示意性示出本公开示例性实施例中一种对原始图像数据和目标图像数据进行仿真的真实效果对比图；
图8示意性示出本公开示例性实施例中图像显示装置的组成示意图；
图9示出了可以应用本公开实施例的一种电子设备的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种图像显示方法及装置的示例性应用环境的系统架构的示意图。
参考图1所示，系统架构100可以包括采集端110、处理端120、显示端130。其中，采集端110是用于采集图像的设备、装置或模块，如可以是独立的相机或内置于电子设备中的摄像模块。处理端120是用于处理采集端110采集的图像的设备、装置或模块，可以是独立的处理设备(如服务器、计算机、智能手机)，也可以是电子设备中的处理器，如主处理器、应用处理器、图形处理器、图像信号处理器等。显示端130是用于显示图像的设备、装置或模块，本文中的“显示”是指对图像的视觉呈现，不限于通过屏幕的方式显示，如也可以指投影、打印等，因此，显示端130可以是显示器、投影机、打印机或内置于电子设备的显示模块(如智能手机的显示屏幕)。采集端110、处理端120、显示端130之间可以通过有线或无线的通信链路实现连接，也可以通过总线与特定的硬件接口实现连接，以进行数据交互。
在一可选的实施例中，采集端110采集原始图像数据，并将原始图像数据传输给处理端120。处理端120获取由采集端110提供的原始图像数据，并获取由显示端130提供的屏幕显示参数，通过执行本示例性实施方式中的图像显示方法，确定目标图像数据以及目标显示亮度，并将目标图像数据以及目标显示亮度发送给显示端130，由显示端130以目标显示亮度渲染显示目标图像数据，从而实现扩展显示原始图像数据的动态范围以及对比度，使基于SDR标准的原始图像数据适配显示端130的亮度区间，提升原始图像数据在显示端130上的显示效果。
可以理解的是，虽然图1中将系统架构100划分为采集端110、处理端120、显示端130，但实质上系统架构100可以是一个单独的电子设备，采集端110、处理端120、显示端130可以是该电子设备的不同功能模块，例如，系统架构可以是移动终端，如智能手机、可穿戴设备等；那么，采集端110可以是该移动终端的前置摄像模块或者后置摄像模块，处理端120可以是该移动终端的主处理器、应用处理器、图形处理器、图像信号处理器等，显示端130可以是该移动终端的显示屏幕，本示例实施例对此不做特殊限定。
由上可知，图像显示方法的执行主体可以是处理端120，也可以是系统架构100本身，为了便于说明，本公开以系统架构100为独立的移动终端执行该方法为例进行说明。
目前，SDR标准规定的最大显示亮度为100尼特(nit)，而市场上大多数的显示设备的峰值亮度均大于100尼特(nit)，如大多数显示设备的峰值亮度一般处于500-1000尼特(nit)，为了使原来的SDR内容能够更好地适配亮度较高的显示设备，需要一种对SDR内容进行转换的方案。
一种SDR图像转换方案中，是通过机器学习方法预测单镜头影像的高亮度阈值，通过高亮度阈值将影像划分为漫反射区和高光反射区；由于不同镜头的暗部区域亮度相对稳定，因此根据经验，给出了暗部区域亮度阈值；针对暗部区域、漫反射区域和高反射区域以及不同亮度区域间的过渡区域，分别建立不同的亮度映射函数；在暗部阈值附近和高亮度阈值为中心的小区间内，采用三次样条插值函数作为亮度映射函数，使得各亮度区域间亮度平滑过渡。但是，这种技术方案实质上是将SDR标准的图像内容转换到HDR(High DynamicRange，高动态范围)标准，智能应用于影院级别的支持HDR标准的显示设备上，对于不支持HDR标准的显示设备并不适用。并且该技术方案没有考虑到显示亮度、编解码和人眼感知阈值，最终显示在显示设备中的图像内容会出现人眼视觉上的断阶不连续等问题。
基于相关技术中的一种或者多个问题，本公开提供了一种图像显示方法和图像显示装置，能够扩展显示原始图像数据的动态范围以及对比度，使原始图像数据如SDR图像等能够与显示设备的亮度区间相匹配，提升SDR图像在任意显示设备上的显示效果，同时使显示设备中显示的图像内容平滑连续，避免出现人眼视觉上的断阶不连续的问题。下面对本公开示例性实施方式的图像显示方法和图像显示装置进行具体说明。
图2示出了本示例性实施方式中一种图像显示方法的流程示意图，可以包括以下步骤S210至步骤S240：
在步骤S210中，获取原始图像数据，以及确定用于显示所述原始图像数据的显示单元的屏幕显示参数。
在一示例性实施例中，原始图像数据是指可以进行动态范围扩展的图像，例如，原始图像数据可以是SDR图像，也可以是LDR(Low Dynamic Range，低动态范围)图像。当然，目标图像可以是动态范围能够进一步扩展的HDR图像，例如采集端110支持采集最大亮度为400nit的HDR图像，而显示端130支持显示最大亮度为1000nit的HDR图像，采集端110采集的HDR图像可在显示端130做进一步的动态范围扩展，可作为原始图像数据，本示例实施例对于原始图像数据的类型不做任何特殊限定。
显示原始图像数据的显示单元一般是指不支持HDR标准的显示设备，例如，显示原始图像数据的显示单元可以是峰值亮度高于100尼特(nit)但低于1000尼特(nit)的显示设备，也可以是峰值亮度虽高于1000尼特(nit)，但只能以8bit位深显示SDR图像的显示设备，还可以是峰值亮度虽高于1000尼特(nit)，且支持10bit位深及以上的图像，但是无法解析HDR标准，只能支持伽马映射或其他非HDR电光转换函数的显示设备。当然，显示原始图像数据的显示单元还可以是其他情况但不支持HDR标准的显示设备，本示例实施例不以此为限。
屏幕显示参数是指显示原始图像数据的显示单元的硬件参数，例如，屏幕显示参数可以是显示单元的峰值亮度、当前显示亮度，也可以是显示单元的显示对比度，还可以是显示单元的色域范围等，本示例实施例对于屏幕显示参数的类型不做任何特殊限定。
在步骤S220中，根据所述屏幕显示参数确定映射曲线。
在一示例性实施例中，映射曲线是指将原始图像数据进行重映射，以使原始图像数据对应的图像亮度适配显示单元的亮度区间的映射关系数据，映射曲线可以是基于显示单元的峰值亮度以及人眼感知特性等人眼视觉参数确定的映射关系，主要可以用于控制显示最大增长幅度、增长像素范围和亮度增长曲线等，以实现显示单元中图像显示亮度的平滑提升。
可以根据屏幕显示参数确定映射曲线，例如，屏幕显示参数可以是当前显示亮度，可以根据当前显示亮度确定高光提亮倍率，进而可以通过高光提亮倍率构建映射曲线；屏幕显示参数可以是显示对比度，可以根据显示对比度确定提亮分界参数，进而可以通过提亮分界参数构建映射曲线；当然，还可以通过高光提亮倍率以及提亮分界参数确定映射曲线，本示例实施例对于选取不同屏幕显示参数构建映射曲线的方式不做特殊限定。
可以理解的是，无论是通过当前显示亮度确定的高光提亮倍率或者通过提亮分界参数确定的提亮分界参数确定映射曲线，还是通过当前显示亮度确定的高光提亮倍率和通过提亮分界参数确定的提亮分界参数确定映射曲线，屏幕显示参数还可以包括伽马校正参数，伽马校正参数均可以作为映射曲线的参数设置。
在步骤S230中，基于所述原始图像数据以及所述映射曲线确定目标图像数据。
在一示例性实施例中，目标图像数据是指原始图像数据经过像素映射后得到的新的图像数据，目标图像数据的动态范围大于原始图像数据的动态范围，保证原始图像数据如SDR图像中的低光部分保持不变，而高光部分的亮度增强，实现一种伪HDR图像效果的SDR图像，并且普通的显示设备即可实现，不需要显示设备支持HDR标准，适用范围更广。
在步骤S240中，通过所述目标图像数据确定目标显示亮度，并控制所述显示单元以所述目标显示亮度渲染显示所述目标图像数据。
在一示例性实施例中，目标显示亮度是指用于控制显示单元的显示亮度的目标值，相对于当前显示亮度而言，当前显示亮度是指显示单元未接收到显示原始图像数据的指令之前的显示亮度，该当前显示亮度可以是由移动终端自身根据环境亮度自动调整得到的，也可以是由用户通过亮度调整功能手动调整的；而目标显示亮度是指接收到显示原始图像数据的指令之后，在将原始图像数据映射为目标图像数据，并将目标图像数据显示在显示单元时，显示单元应该适应调整的显示亮度，目标显示亮度可以还原目标图像数据对应的真实光比。
在确定目标图像数据和目标显示亮度之后，可以将目标图像数据以及目标显示亮度传输给显示单元，显示单元可以根据目标显示亮度将目标图像数据渲染显示，实现对原始图像数据在显示单元的扩展显示，提升原始图像数据的动态范围和对比度，提升原始图像数据在显示单元上的显示效果。
可以通过确定映射曲线将原始图像数据映射到适配显示单元的目标图像数据，并基于目标图像数据确定显示单元的目标显示亮度，控制显示单元以目标显示亮度渲染显示目标图像数据，能够在显示单元中扩展显示原始图像数据的动态范围以及对比度，提升原始图像数据显示到显示单元中的显示效果；可以通过显示单元的屏幕显示参数确定映射曲线，能够提升映射后的目标图像数据与显示单元的亮度区间之间的适配性，充分利用显示单元的硬件性能，保证图像显示的准确性。
下面对步骤S210至步骤S240进行详细说明。
图3示意性示出本公开示例性实施例中一种实现原始图像数据的渲染显示的流程示意图。
参考图3所示，以移动终端为例，可以获取前置摄像头或者后置摄像头采集的原始图像数据301，该原始图像数据301可以是第一SDR图像，同时获取移动终端的显示屏幕对应的屏幕显示参数302，根据预先确定映射曲线模型以及该屏幕显示参数302，确定本次的映射曲线303。进而可以根据映射曲线303将原始图像数据301进行重映射，得到目标图像数据，该目标图像数据可以是第二SDR图像，并基于该目标图像数据确定目标显示亮度，将重映射后的目标图像数据以及目标显示亮度发送给移动终端的显示屏幕，显示屏幕可以根据目标显示亮度将目标图像数据渲染显示。相比于直接将原始图像数据301渲染显示到显示屏幕得到的第一SDR图像，根据目标显示亮度渲染显示目标图像数据得到的第二SDR图像，第二SDR图像可以保持第一SDR图像中的低光部分不变，而将第一SDR图像中的高光部分进行提亮，实现第一SDR图像中的高光部分的亮度增强，动态范围更宽，对比度更高，显示效果更好。
具体的，显示单元的当前实现亮度下的第一SDR图像的图像内容亮度(以sRGB标准显示)可以表示为关系式(1)：
l1＝L1*x2.2 (1)
其中，l1可以表示第一SDR图像的图像内容亮度，L1可以表示显示单元的当前显示亮度，x可以表示第一SDR图像的像素值(为便于理解计算，本实施例中提到的像素值均是归一化处理后的像素值)，可以理解的是，关系式(1)中的2.2可以表示显示单元的伽马校正参数，一般可以取值为2.0-2.4，当然，还可以是其他范围的伽马校正参数本实施例以及后续实施例为便于说明，均以取值为2.2为例，但不应对本示例实施例造成任何特殊限定。
对原始图像数据即第一SDR图像进行重映射的过程可以通过关系式(2)进行表示：
y＝x*S(x) (2)
其中，y可以表示映射处理后得到的目标图像数据即第二SDR图像的像素值(归一化)，x可以表示原始图像数据即第一SDR图像的像素值(归一化)，S(x)可以表示确定的映射曲线(归一化)。
显示单元在目标显示亮度下的第二SDR图像的图像内容亮度(以sRGB标准显示)可以表示为关系式(3)：
l2＝L2*y2.2 (3)
其中，l2可以表示第二SDR图像的图像内容亮度，L2可以表示显示单元的目标显示亮度，y可以表示第二SDR图像的像素值(归一化)。
可以理解的是，以上关系式仅是对本实施例的示意性举例说明，例如，对于特殊电光转换显示的屏幕，如对数方式转换的屏幕，可以对关系式(3)进行适应性调整，并不应对本示例实施例造成任何特殊限定。
在一示例性实施例中，屏幕显示参数可以包括当前显示亮度和显示对比度，其中，当前显示亮度是指显示单元未接收到显示原始图像数据的指令之前的显示亮度，该当前显示亮度可以是由移动终端自身根据环境亮度自动调整得到的，也可以是由用户通过亮度调整功能手动调整的，对此不做特殊限定。显示对比度是指屏幕上同一像素点最亮时(白色)与最暗时(黑色)的亮度的比值，较高的对比度意味着相对较高的亮度和呈现颜色的艳丽程度。当像素值为0时，显示屏幕的理想状况应当激发0尼特(nit)的显示亮度，人眼中看到的对比度为无限，然而实际上，考虑硬件黑位和环境光污染，像素值为0仍然对应一定的光亮，因此通常CR值取20～100，即1％～5％的光污染。
具体的，可以通过图4中的步骤实现根据屏幕显示参数确定映射曲线，参考图4所示，具体可以包括：
步骤S410，根据所述当前显示亮度确定高光提亮倍率；
步骤S420，根据所述显示对比度确定提亮分界参数；
步骤S430，基于所述高光提亮倍率以及所述提亮分界参数确定映射曲线。
其中，高光提亮倍率是指原始图像数据中的高光部分能够被增强的倍数，高光部分可以是原始图像数据中图像内容所对应的最大亮度值，或者，高光部分也可以是对原始图像数据进行分块后，各分块区域中图像内容对应的最大亮度值，当然，高光部分也可以是原始图像数据或者原始图像数据的各分块区域中像素亮度值大于预设亮度阈值的图像区域，例如，若原始图像数据中图像内容的亮度分布区间为20尼特(nit)-100尼特(nit)，那么可以设置预设亮度阈值为60尼特(nit)，将亮度值大于60尼特(nit)的像素区域作为原始图像数据中的高光部分。
举例而言，原始图像数据中图像内容的最大亮度值为100尼特(nit)，而显示单元的峰值亮度为400尼特(nit)，那么，原始图像数据的高光部分最高可以提升为原来的4倍，此时原始图像数据的高光提亮倍率可以是4倍；当然，高光提亮倍率可以通过多种方式进行确定，例如，可以根据显示单元的硬件限制确定，也可以通过原始图像数据中本身嵌入的图像元数据确定，还可以通过对原始图像数据进行光源分析或者由用户根据主观感受调整得到，本示例实施例对此不做特殊限定。
可选的，可以确定显示单元的最大显示亮度，进而可以根据最大显示亮度以及当前显示亮度确定高光提亮倍率。其中，最大显示亮度是指显示单元的硬件所限制的峰值亮度，例如，对于亮度区间为500-1000尼特(nit)的显示设备，其对应的最大显示亮度为1000尼特(nit)。
可以通过以下关系式计算高光提亮倍率：
Nmax＝Lmax/L1
其中，Nmax可以表示在显示单元的硬件限制下所能达到的最大高光提亮倍率，一般情况下的N也应当满足这一限制，也即N≤Nmax＝Lmax/L1，Lmax可以表示显示单元的最大显示亮度，L1可以表示显示单元的当前显示亮度。
可选的，可以获取原始图像数据对应的图像元数据，并基于图像元数据确定高光压缩比例，并将高光压缩比例作为高光提亮倍率。
其中，图像元数据是指在拍摄生成原始图像数据时所保存的与图像数据相关的参数，如EXIF数据，例如，图像元数据可以包括但不限于相机型号、相机镜头参数、曝光参数、色调映射参数。
高光压缩比例是指将图像数据进行色调映射(ToneMapping)以实现大幅度的对比度衰减将图像场景亮度变换到可以显示的范围、即对图像数据的高光部分进行压缩时所采用的比例信息，高光压缩比例可以存储在图像元数据中。
SDR源的图像数据在制作生成时可以通过图像元数据保留想要提亮的比例信息，举例而言，当相机拍照时，可以将获取曝光和色调映射过程中的高光压缩比例作为高光提亮倍率N，例如，假设原始图像数据可以是分别由0EV曝光、欠曝a EV，过曝b EV所合成，那么，高光提亮倍率可以表示为N＝2a。当然，此处仅是示意性举例说明，并不应对本示例实施例造成特殊限定。
可选的，可以对原始图像数据进行光源分析，确定原始图像数据对应的累进分布函数，并基于累进分布函数确定高光提亮倍率。举例而言，假设原始图像数据的累进分布函数可以表示为y＝f(x)，其中x和y可以分别表示归一化的像素值和像素数目，规定高光分位点为a，那么a＝f(x)所对应的高光提亮倍率可以表示为N＝(1/x)2.2。当然，此处仅是示意性举例说明，并不应对本示例实施例造成特殊限定。
可选的，高光提亮倍率还可以是由用户自定义调整指定的，例如，可以设置不同高光提亮倍率下的示例预览图，通过循环播放示例预览图由用户选择人眼视觉最佳的高光提亮倍率。
可选的，还可以通过深度学习的方式预测更优的高光提亮倍率，当然，该高光提亮倍率仍需要满足N≤Nmax。
具体的，可以根据实际需求确定映射曲线的曲线形式，根据经验可知，映射曲线需要满足以下条件：
根据关系式(1)可知，为了保证低光部分在提高屏幕亮度后仍保持原亮度不变，应当满足S(x)＝(1/N)(1/2.2)，并且原始图像数据的像素值x应当满足x≤k，其中，k可以表示提亮分界参数。
原始图像数据中的峰值(白色)应当达到亮度增强后的峰值亮度，即应当满足S(1)＝1。
在x＝k处，若使用直线形式，则拐点处可能出现跳变，即HDR部分亮度不可控，需要映射曲线过渡平滑，因此需要满足拐点处映射曲线的导数为0，即需要满足S(k)＝(1/N)(1/2.2)且S′(k)＝0。
综合以上条件，可以确定映射曲线的曲线形式可以表示为关系式(4)：
其中，S(x)可以表示映射曲线，N可以表示高光提亮倍率，g可以表示曲线平滑度调整参数，x可以表示原始图像数据对应的像素值，k可以表示提亮分界参数。
继续参考图4所示，提亮分界参数是指在像素值大于某个界限而出现亮度不可控的现象时对应的拐点，可以结合显示单元的显示对比度确定提亮分界参数，当然，也可以结合显示对比度以及人眼感知特性确定提亮分界参数，本示例实施例对此不做特殊限定。
可选的，可以基于人眼感知数据确定亮度增长率阈值，根据显示对比度以及亮度增长率阈值确定提亮分界参数。其中，亮度增长率阈值是指人眼能够感知亮度变化的亮度最大增长率，人眼对亮度的感知在可视范围内，对相对增长更敏感，例如，在相关的视觉感知文献中，记载了大于100尼特(nit)显示下最宽松的限定范围为0.02(反差阈限函数，Schreiber Threshold)，即相邻灰阶的亮度变化在2％以内，人眼才能感知到灰阶的增长是平滑的，当然，在一些更加严格的标准中，亮度增长率阈值可以设置为0.2％，具体可以根据实际情况进行自定义设置，本示例实施例对此不做特殊限定。
可以理解的是，根据关系式(3)可知，重映射处理后的图像内容亮度的理论值可以表示为L2*y2.2，而在实际计算中应该考虑显示对比度CR＝20的情况，即取光污染为5％，则修正后的图像内容亮度应该表示为：L1*(N*y2.2+0.05)，但在这种情况下，大部分亮度所对应的亮度增长率超出了2％，人眼会感知到在新的显示亮度下，有明显断层。
图5示意性示出本公开示例性实施例中一种未通过亮度增长率阈值限制的亮度曲线图。
参考图5所示，以图像位深度为8bit，高光提亮倍率N＝3，曲线平滑度调整参数g＝2，提亮分界参数取k＝200/255为例，映射曲线S(x)绘制出来为曲线图501，像素值-亮度曲线绘制出来为曲线图502(其中曲线1可以表示原始图像内容亮度，曲线2可以表示重映射后的目标图像内容亮度)，亮度-亮度增长率曲线绘制出来为曲线图503(dI/I)，可以看出，大部分亮度所对应的亮度增长率超出了2％，人眼会感知到在新的显示亮度下，有明显断层。
由于人眼对亮度的感知在可视范围内，对相对增长更敏感，因此，为了避免人眼感知出现亮度断层，可以基于人眼感知特性设定亮度增长率阈值，例如，取亮度增长率阈值为2％，那么可以根据亮度增长率阈值确定提亮分界参数k，那么提亮分界参数k应当满足以下关系：
其中，2(x)可以表示像素值x对应的像素亮度，7可以表示图像位深度，例如图像位深度可以是8bit/10bit/12bit/16bit等，本示例实施例对此不做特殊限定。
在映射曲线的关系式(4)所表示的映射关系中，只需要关注最后一阶的亮度增长变化，因此，提亮分界参数k应当满足关系式(5)：
当然，假设CR可以表足够大时，关系式(5)可以简化为关系式(6)：
其中，N可以表示高光提亮倍率，7可以表示图像位深度，g可以表示曲线平滑度调整参数，CR可以表示显示对比度，k可以表示需要求解的提亮分界参数。
可以理解的是，关系式(5)可以表示为与提亮分界参数k相关的函数关系式：关系式(6)也可以表示为与提亮分界参数k相关的函数关系式/>由于存在f(k)<1，则必然存在关系式(5)<关系式(6)<0.98。当然，以上仅是示意性举例说明，并不应对本示例实施例造成任何特殊限定。
图6示意性示出本公开示例性实施例中一种通过亮度增长率阈值限制的亮度曲线图。
参考图6所示，在基于确定的高光提亮倍率以及确定的提亮分界参数确定最终的映射曲线之后，显示单元的目标显示亮度得到明显提升，同时可以按照关系式(2)对原始图像数据进行像素映射，通过关系式(3)对目标图像数据进行渲染显示。
以图像位深度为8bit，高光提亮倍率N＝3，曲线平滑度调整参数g＝2，通过关系式(5)或者关系式(6)计算提亮分界参数取k<＝105，此处取k＝105，那么，映射曲线S(x)绘制出来为曲线图601，像素值-亮度曲线绘制出来为曲线图602(其中曲线1可以表示原始图像内容亮度，曲线2可以表示重映射后的目标图像内容亮度)，亮度-亮度增长率曲线绘制出来为曲线图603(dI/I)，可以看出，通过映射曲线将亮度增长率限制在2％以下，在新的显示亮度下有效提升人眼视觉上图像的亮度连续性以及平滑性，进一步提升图像的显示效果。
图7示意性示出本公开示例性实施例中一种对原始图像数据和目标图像数据进行仿真的真实效果对比图。
参考图7所示，对原始图像数据以及目标图像数据显示到显示单元上的效果进行仿真，得到仿真结果701以及仿真结果702，可以看出，目标图像数据显示到显示单元中的仿真结果702相比于原始图像数据显示到显示单元中的仿真结果701，低光部分(桌面上的反光部分)基本保持不变，而高光部分(天花板上的灯光部分)得到有效增强，有效提升原始图像数据的动态范围以及对比度，提升原始图像数据显示到显示单元中的显示效果，并且通过映射曲线使目标图像数据中的亮度增长变化更加平滑连续，进一步提升显示效果。
综上所述，本示例性实施方式中，可以确定用于显示原始图像数据的显示单元的屏幕显示参数，并根据屏幕显示参数确定映射曲线，基于原始图像数据以及映射曲线确定目标图像数据，进而可以通过目标图像数据确定目标显示亮度，并控制显示单元以目标显示亮度渲染显示目标图像数据。一方面，通过确定映射曲线将原始图像数据映射到适配显示单元的目标图像数据，并基于目标图像数据确定显示单元的目标显示亮度，控制显示单元以目标显示亮度渲染显示目标图像数据，能够在显示单元中扩展显示原始图像数据的动态范围以及对比度，提升原始图像数据显示到显示单元中的显示效果；另一方面，通过显示单元的屏幕显示参数确定映射曲线，能够提升映射后的目标图像数据与显示单元的亮度区间之间的适配性，充分利用显示单元的硬件性能，保证显示的准确性。
需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图8所示，本示例的实施方式中还提供一种图像显示装置800，包括图像数据获取模块810、映射曲线确定模块820、图像数据映射模块830和图像扩展显示模块840。其中：
图像数据获取模块810用于获取原始图像数据，以及确定用于显示所述原始图像数据的显示单元的屏幕显示参数；
映射曲线确定模块820用于根据所述屏幕显示参数确定映射曲线；
图像数据映射模块830用于基于所述原始图像数据以及所述映射曲线确定目标图像数据；
图像扩展显示模块840用于通过所述目标图像数据确定目标显示亮度，并控制所述显示单元以所述目标显示亮度渲染显示所述目标图像数据。
在一示例性实施例中，屏幕显示参数可以包括当前显示亮度和显示对比度，映射曲线确定模块820可以包括：
高光提亮倍率确定单元，可以用于根据所述当前显示亮度确定高光提亮倍率；
提亮分界参数确定单元，可以用于根据所述显示对比度确定提亮分界参数；
映射曲线确定单元，可以用于基于所述高光提亮倍率以及所述提亮分界参数确定映射曲线。
在一示例性实施例中，高光提亮倍率确定单元可以用于：
确定所述显示单元的最大显示亮度；
根据所述最大显示亮度以及所述当前显示亮度确定高光提亮倍率。
在一示例性实施例中，高光提亮倍率确定单元还可以用于：
获取所述原始图像数据对应的图像元数据；
基于所述图像元数据确定高光压缩比例，并将所述高光压缩比例作为所述高光提亮倍率。
在一示例性实施例中，高光提亮倍率确定单元还可以用于：
对所述原始图像数据进行光源分析，确定所述原始图像数据对应的累进分布函数；
基于所述累进分布函数确定高光提亮倍率。
在一示例性实施例中，提亮分界参数确定单元可以用于：
基于人眼感知数据确定亮度增长率阈值；
根据所述显示对比度以及所述亮度增长率阈值确定提亮分界参数。
在一示例性实施例中，映射曲线可以表示为以下关系式：
其中，S(x)表示映射曲线，N表示高光提亮倍率，g表示曲线平滑度调整参数，x表示原始图像数据对应的像素值，k表示提亮分界参数。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供一种电子设备，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述图像显示方法。下面以图9中的移动终端900为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图9中的构造也能够应用于固定类型的设备。
如图9所示，移动终端900具体可以包括：处理器901、存储器902、总线903、移动通信模块904、天线1、无线通信模块905、天线2、显示屏906、摄像模块907、音频模块908、电源模块909与传感器模块910。
处理器901可以包括一个或多个处理单元，例如：处理器901可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。
编码器可以对图像或视频进行编码(即压缩)，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端900可以支持一种或多种编码器和解码器，例如：JPEG(Joint PhotographicExperts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG10、H.1063、H.1064、HEVC(High Efficiency Video Coding，高效率视频编码)等视频格式。
处理器901可以通过总线903与存储器902或其他部件形成连接。
存储器902可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器901通过运行存储在存储器902的指令，执行移动终端900的各种功能应用以及数据处理。存储器902还可以存储应用数据，例如存储图像，视频等文件。
移动终端900的通信功能可以通过移动通信模块904、天线1、无线通信模块905、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块904可以提供应用在移动终端900上3G、4G、5G等移动通信解决方案。无线通信模块905可以提供应用在移动终端900上的无线局域网、蓝牙、近场通信等无线通信解决方案。
显示屏906用于实现显示功能，如显示用户界面、图像、视频等。摄像模块907用于实现拍摄功能，如拍摄图像、视频等。音频模块908用于实现音频功能，如播放音频，采集语音等。电源模块909用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。
传感器模块910可以包括一种或多种传感器，用于实现相应的感应检测功能。例如，传感器模块910可以包括曝光度传感器，其用于检测移动终端900在拍照时的环境亮度数据，输出自动曝光参数。
本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (10)
1.一种图像显示方法，其特征在于，包括：
获取原始图像数据，以及确定用于显示所述原始图像数据的显示单元的屏幕显示参数；
根据所述屏幕显示参数确定映射曲线；
基于所述原始图像数据以及所述映射曲线确定目标图像数据；
通过所述目标图像数据确定目标显示亮度，并控制所述显示单元以所述目标显示亮度渲染显示所述目标图像数据。
2.根据权利要求1所述的方法，其特征在于，所述屏幕显示参数包括当前显示亮度和显示对比度，所述根据所述屏幕显示参数确定映射曲线，包括：
根据所述当前显示亮度确定高光提亮倍率；
根据所述显示对比度确定提亮分界参数；
基于所述高光提亮倍率以及所述提亮分界参数确定映射曲线。
3.根据权利要求2所述的方法，其特征在于，所述根据所述当前显示亮度确定高光提亮倍率，包括：
确定所述显示单元的最大显示亮度；
根据所述最大显示亮度以及所述当前显示亮度确定高光提亮倍率。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取所述原始图像数据对应的图像元数据；
基于所述图像元数据确定高光压缩比例，并将所述高光压缩比例作为所述高光提亮倍率。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
对所述原始图像数据进行光源分析，确定所述原始图像数据对应的累进分布函数；
基于所述累进分布函数确定高光提亮倍率。
6.根据权利要求2所述的方法，其特征在于，所述根据所述显示对比度确定提亮分界参数，包括：
基于人眼感知数据确定亮度增长率阈值；
根据所述显示对比度以及所述亮度增长率阈值确定提亮分界参数。
7.根据权利要求1所述的方法，其特征在于，所述映射曲线包括以下关系式：
其中，S(x)表示映射曲线，N表示高光提亮倍率，g表示曲线平滑度调整参数，x表示原始图像数据对应的像素值，k表示提亮分界参数。
8.一种图像显示装置，其特征在于，包括：
图像数据获取模块，用于获取原始图像数据，以及确定用于显示所述原始图像数据的显示单元的屏幕显示参数；
映射曲线确定模块，用于根据所述屏幕显示参数确定映射曲线；
图像数据映射模块，用于基于所述原始图像数据以及所述映射曲线确定目标图像数据；
图像扩展显示模块，用于通过所述目标图像数据确定目标显示亮度，并控制所述显示单元以所述目标显示亮度渲染显示所述目标图像数据。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211600544.2A CN118197192A (zh) | 2022-12-12 | 2022-12-12 | 图像显示方法及装置、计算机可读介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211600544.2A CN118197192A (zh) | 2022-12-12 | 2022-12-12 | 图像显示方法及装置、计算机可读介质和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118197192A true CN118197192A (zh) | 2024-06-14 |
Family
ID=91409033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211600544.2A Pending CN118197192A (zh) | 2022-12-12 | 2022-12-12 | 图像显示方法及装置、计算机可读介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118197192A (zh) |
-
2022
- 2022-12-12 CN CN202211600544.2A patent/CN118197192A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11044410B2 (en) | Imaging control method and apparatus, electronic device, and computer readable storage medium | |
| US10692465B2 (en) | Transitioning between video priority and graphics priority | |
| RU2726290C2 (ru) | Способ и устройство для тонального отображения изображения посредством использования параметрической функции тональной регулировки | |
| US11715184B2 (en) | Backwards-compatible high dynamic range (HDR) images | |
| AU2012347820A1 (en) | Device and method of improving the perceptual luminance nonlinearity - based image data exchange across different display capabilities | |
| CN105208281A (zh) | 一种夜景拍摄方法及装置 | |
| WO2021218924A1 (zh) | 动态范围映射的方法和装置 | |
| CN111885312B (zh) | Hdr图像的成像方法、系统、电子设备及存储介质 | |
| CN107077830B (zh) | 适用于无人机控制端的屏幕亮度调整方法及无人机控制端 | |
| US11601600B2 (en) | Control method and electronic device | |
| US20230140259A1 (en) | Image dynamic range processing method and apparatus | |
| EP3669542A1 (en) | Bit-depth efficient image processing | |
| CN110770787B (zh) | 高效端到端单层逆向显示管理编码 | |
| WO2019036522A1 (en) | EFFICIENT IMAGE PROCESSING IN BIT DEPTH | |
| CN114467298B (zh) | 一种图像信号转换处理方法、装置及终端设备 | |
| CN115719316A (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| CN118197192A (zh) | 图像显示方法及装置、计算机可读介质和电子设备 | |
| CN115861121A (zh) | 模型训练方法、图像处理方法、装置、电子设备和介质 | |
| CN115361510A (zh) | 一种高动态范围hdr视频的处理方法、编码设备和解码设备 | |
| WO2017197964A1 (zh) | 媒体数据处理方法和装置及系统 | |
| CN118214815A (zh) | 图像显示方法及装置、计算机可读介质和电子设备 | |
| Hatchett | Efficient and adaptable high dynamic range compression | |
| KR100801292B1 (ko) | 개선된 화질의 영상 통화를 제공하는 이동통신 단말기 및그 화질 개선 방법 | |
| CN118247194A (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN117939096A (zh) | 图像色彩校正方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication |