CN113240644A - 高动态范围图像的显示处理方法及相关装置 - Google Patents

高动态范围图像的显示处理方法及相关装置 Download PDF

Info

Publication number
CN113240644A
CN113240644A CN202110533448.XA CN202110533448A CN113240644A CN 113240644 A CN113240644 A CN 113240644A CN 202110533448 A CN202110533448 A CN 202110533448A CN 113240644 A CN113240644 A CN 113240644A
Authority
CN
China
Prior art keywords
image
value
hdr
normalized
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110533448.XA
Other languages
English (en)
Other versions
CN113240644B (zh
Inventor
查林
郝才研
滕立伟
夏建龙
吴秋英
蔺飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xinxin Microelectronics Technology Co Ltd
Original Assignee
Qingdao Xinxin Microelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xinxin Microelectronics Technology Co Ltd filed Critical Qingdao Xinxin Microelectronics Technology Co Ltd
Priority to CN202110533448.XA priority Critical patent/CN113240644B/zh
Publication of CN113240644A publication Critical patent/CN113240644A/zh
Application granted granted Critical
Publication of CN113240644B publication Critical patent/CN113240644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种高动态范围图像的显示处理方法及相关装置。本申请实施例中,通过在获取高动态范围的HDR图像后,通过对HDR图像的颜色值进行归一化处理来扩充像素点的动态范围。在得到归一化图像后,根据查找映射表的曲线对归一化图像的亮度值进行校正,以使归一化图像的像素点能够符合HDR标准亮度曲线的亮度标准。进一步的,为避免图像颜色在亮度校正后产生饱和,将亮度校正后的归一化图像作为中间图像,并对中间图像的颜色饱和度进行校正后输出展示。以此缓解相关技术中,HDR图像在显示时多存在对比度较差,影响视觉效果的问题。

Description

高动态范围图像的显示处理方法及相关装置
技术领域
本申请涉图像处理术领域,特别涉及一种高动态范围图像的显示处理方法及相关装置。
背景技术
高动态范围图像(High-Dynamic Range,HDR)相比于普通图像具备更加丰富的图像细节和更宽的动态范围,更易于反映出真实环境的视觉效果。对HDR图像的视频信号进行显示时,需通过查找映射表对视频信号进行映射,以使视频信号在输出显示时符合HDR标准亮度曲线的亮度标准。由于显示器可显示的亮度范围通常低于HDR片源的亮度范围,这导致了HDR图像在显示时多存在对比度较差的问题,影响视觉效果。
发明内容
本申请的目的是提供一种高动态范围图像的显示处理方法及相关装置,用于解决相关技术中HDR图像在显示时多存在对比度较差,影响视觉效果的问题。
第一方面,本申请实施例提供了一种高动态范围图像的显示处理方法,所述方法包括:
获取高动态范围HDR图像;
对所述HDR图像的颜色值进行归一化处理,得到归一化图像;
基于查找映射表对所述归一化图像的亮度进行校正,得到中间图像;
对所述中间图像进行颜色饱和度校正后输出。
在一些可能的实施例中,所述对所述HDR图像的颜色值进行归一化处理,包括:
获取所述HDR图像的灰阶直方图;
根据所述灰阶直方图确定所述HDR图像的归一化因子,所述归一化因子的灰阶值小于所述灰阶直方图的最大灰阶值;
对所述HDR图像最大亮度值和所述归一化因子加权求和,得到归一化系数;
采用所述归一化系数对所述HDR图像的颜色值进行归一化处理。
在一些可能的实施例中,所述对所述HDR图像最大亮度值和所述归一化因子加权求和,得到归一化系数,包括:
响应于输入操作,得到权重系数;
基于所述权重系数,对所述HDR图像最大亮度值和所述归一化因子加权求和,得到归一化系数。
在一些可能的实施例中,所述得到归一化系数之后,所述方法还包括:
若所述归一化系数小于系数阈值,则将所述归一化系数更正为所述系数阈值。
在一些可能的实施例中,所述基于查找映射表对所述归一化图像的亮度进行校正,包括:
确定所述归一化图像的灰阶值;
根据所述查找映射表的预设曲线确定所述灰阶值的映射值;
根据所述映射值对所述归一化图像的亮度进行校正,得到所述中间图像。
在一些可能的实施例中,所述灰阶值包括所述归一化图像的颜色值中的最大值,或所述归一化图像的最大亮度值。
在一些可能的实施例中,所述预设曲线为HDR标准曲线,或多条曲线拼接得到的混合曲线。
在一些可能的实施例中,所述根据所述查找映射表的预设曲线确定所述灰阶值的映射值之后,所述方法还包括:
将所述映射值和所述灰阶值的比值作为校正因子;
采用所述校正因子对所述归一化图像的颜色值进行校正。
在一些可能的实施例中,所述采用所述校正因子对所述归一化图像的颜色值进行校正之前,所述方法还包括:
若所述校正因子大于校正阈值,则将所述校正因子更正为所述校正阈值。
第二方面,本申请实施例提供了一种显示设备,包括:显示器、存储器和控制器,其中:
所述显示器用于显示信息;
所述存储器,用于存储可被所述控制器执行的计算机程序;
所述控制器,所述控制器分别连接所述显示器和所述存储器,被配置为:
获取高动态范围HDR图像;
对所述HDR图像的颜色值进行归一化处理,得到归一化图像;
基于查找映射表对所述归一化图像的亮度进行校正,得到中间图像;
对所述中间图像进行颜色饱和度校正后输出。
在一些可能的实施例中,执行所述对所述HDR图像的颜色值进行归一化处理,所述控制器被配置为:
获取所述HDR图像的灰阶直方图;
根据所述灰阶直方图确定所述HDR图像的归一化因子,所述归一化因子的灰阶值小于所述灰阶直方图的最大灰阶值;
对所述HDR图像最大亮度值和所述归一化因子加权求和,得到归一化系数;
采用所述归一化系数对所述HDR图像的颜色值进行归一化处理。
在一些可能的实施例中,执行所述对所述HDR图像最大亮度值和所述归一化因子加权求和,得到归一化系数,所述控制器被配置为:
响应于输入操作,得到权重系数;
基于所述权重系数,对所述HDR图像最大亮度值和所述归一化因子加权求和,得到归一化系数。
在一些可能的实施例中,执行所述得到归一化系数之后,所述控制器还被配置为:
若所述归一化系数小于系数阈值,则将所述归一化系数更正为所述系数阈值。
在一些可能的实施例中,执行所述基于查找映射表对所述归一化图像的亮度进行校正,所述控制器被配置为:
确定所述归一化图像的灰阶值;
根据所述查找映射表的预设曲线确定所述灰阶值的映射值;
根据所述映射值对所述归一化图像的亮度进行校正,得到所述中间图像。
在一些可能的实施例中,所述灰阶值包括所述归一化图像的颜色值中的最大值,或所述归一化图像的最大亮度值。
在一些可能的实施例中,所述预设曲线为HDR标准曲线,或多条曲线拼接得到的混合曲线。
在一些可能的实施例中,执行所述根据所述查找映射表的预设曲线确定所述灰阶值的映射值之后,所述控制器还被配置为:
将所述映射值和所述灰阶值的比值作为校正因子;
采用所述校正因子对所述归一化图像的颜色值进行校正。
在一些可能的实施例中,执行所述采用所述校正因子对所述归一化图像的颜色值进行校正之前,所述控制器还被配置为:
若所述校正因子大于校正阈值,则将所述校正因子更正为所述校正阈值。
第三方面,本申请一实施例还提供了一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如本申请第一方面中提供的任一方法。
本申请实施例,通过获取高动态范围的HDR图像后,对HDR图像的颜色值进行归一化处理,以此扩充HDR图像中每一像素点的动态范围。获取归一化图像后,基于查找映射表对该归一化图像的亮度值进行校正,得到中间图像。通过上述步骤获得的中间图像中每一像素点均符合HDR标准亮度曲线的亮度标准。进一步的,对中间图像的颜色饱和度进行校正后输出展示。以此缓解相关技术中,HDR图像在显示时多存在对比度较差,影响视觉效果的问题。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,显而易见地,下面所介绍的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种高动态范围图像的应用场景图;
图2为本申请实施例提供的中控设备200的配置框图;
图3a为本申请实施例提供的显示设备200的配置框图;
图3b为本申请实施例提供的显示设备200各内部模块的处理流程图;
图4a为本申请实施例提供的一种高动态范围图像的整体流程图;
图4b为本申请实施例提供的图3b中直方图模块2010的配置框图;
图4c为本申请实施例提供的灰阶直方图的示意图;
图4d为本申请实施例提供的图3b中归一化模块203的配置框图;
图4e为本申请实施例提供的图3b中查找映射表模块204的配置框图;
图4f为本申请实施例提供的图3b中颜色饱和度校正模块206的配置框图。
具体实施方式
为进一步说明本申请实施例提供的技术方案,下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本申请实施例提供的执行顺序。方法在实际的处理过程中或者控制设备执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行。
显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。本申请实施例中″第一″、″第二″仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有″第一″、″第二″的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,术语″多个″是指两个或两个以上,其它量词与之类似应当理解,此处所描述的优选实施例仅用于说明和解释本申请,并不用于限定本申请,并且在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
对HDR图像的视频信号进行显示时,需通过查找映射表对视频信号进行映射,以使视频信号在输出显示时符合HDR标准亮度曲线的亮度标准。由于显示器可显示的亮度范围低于HDR片源的亮度范围,相关技术在实现HDR片源支持时,仅能够保证亮度在显示器显示范围内的灰阶值可以达到HDR标准曲线的亮度标准。对于超出显示器亮度范围的灰阶值则会被饱和为显示器可显示的亮度最大值,这导致超过显示器显示范围的高亮物体均变成相同亮度,导致所显示的HDR图像存在对比度较差的问题。为解决上述问题,本申请的发明构思为:获取高动态范围的HDR图像后,通过对HDR图像的颜色值进行归一化处理来扩充像素点的动态范围。在得到归一化图像后,根据查找映射表的曲线对归一化图像的亮度值进行校正,以使归一化图像的像素点能够符合HDR标准亮度曲线的亮度标准。进一步的,为避免图像颜色在亮度校正后产生饱和,将亮度校正后的归一化图像作为中间图像,并对中间图像的颜色饱和度进行校正后输出展示。以此缓解相关技术中,HDR图像在显示时多存在对比度较差,影响视觉效果的问题。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面结合附图对本申请实施例提供的虚拟视频会议方法及相关装置进行详细说明。
参见图1,为本申请一些实施例提供的高动态范围图像的显示处理方法的应用场景图。如图1所示,控制装置100和显示设备200之间可以有线或无线方式进行通信。
其中,控制装置100被配置为控制显示设备200,其可接收用户输入的操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起着用户与显示设备200之间交互的中介作用。如:用户通过操作控制装置100上频道加减键,显示设备200响应频道加减的操作。
控制装置100可以是遥控器100A,包括红外协议通信或蓝牙协议通信,及其他短距离通信方式等,通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令,来控制显示设备200。如:用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令,来实现控制显示设备200的功能。
控制装置100也可以是智能设备,如移动终端100B、平板电脑、计算机、笔记本电脑等。例如,使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上,通过直观的用户界面(UI)为用户提供各种控制。
示例性的,移动终端100B可与显示设备200安装软件应用,通过网络通信协议实现连接通信,实现一对一控制操作的和数据通信的目的。如:可以使移动终端100B与显示设备200建立控制指令协议,通过操作移动终端100B上提供的用户界面的各种功能键或虚拟控件,来实现如遥控器100A布置的实体按键的功能。也可以将移动终端100B上显示的音视频内容传输到显示设备200上,实现同步显示功能。
如图1示出的,显示设备200还可与服务器400进行数据通信,用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中,显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示,控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。
在一些实施例中,通信接口130用于和外部通信,包含WIFI芯片,蓝牙模块,NFC或可替代模块中的至少一种。
在一些实施例中,用户输入/输出接口140包含麦克风,触摸板,传感器,按键或可替代模块中的至少一种。
图3a示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中,显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括中央处理器,视频处理器,音频处理器,图形处理器,RAM,ROM,用于输入/输出的第一接口至第n接口。
在一些实施例中,显示器260包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自控制器输出的图像信号,进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。
在一些实施例中,显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种,还可以为一种投影装置和投影屏幕。
在一些实施例中,调谐解调器210通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号,如以及EPG数据信号。
在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括Wifi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
在一些实施例中,检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括光接收器,用于采集环境光线强度的传感器;或者,检测器230包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势,再或者,检测器230包括声音采集器,如麦克风等,用于接收外部声音。
在一些实施例中,外部装置接口240可以包括但不限于如下:高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。
在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器260上显示UI对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中,所述对象可以是可选对象中的任何一个,例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit,CPU),视频处理器,音频处理器,图形处理器(Graphics Processing Unit,GPU),RAMRandom AccessMemory,RAM),ROM(Read-Only Memory,ROM),用于输入/输出的第一接口至第n接口,通信总线(Bus)等中的至少一种。
CPU处理器。用于执行存储在存储器中操作系统和应用程序指令,以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。CPU处理器,可以包括多个处理器。如,包括一个主处理器以及一个或多个子处理器。
在一些实施例中,图形处理器,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象;还包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲染后的对象用于显示在显示器上。
在一些实施例中,视频处理器,用于将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种,可得到直接可显示设备200上显示或播放的信号。
在一些实施例中,视频处理器,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中,解复用模块,用于对输入音视频数据流进行解复用处理。视频解码模块,用于对解复用后的视频信号进行处理,包括解码和缩放处理等。图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。帧率转换模块,用于对转换输入视频帧率。显示格式化模块,用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出RGB数据信号。
在一些实施例中,音频处理器,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理中的至少一种,得到可以在扬声器中播放的声音信号。
在一些实施例中,用户可在显示器260上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
在一些实施例中,″用户界面″,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。
在一些实施例中,用户接口280,为可用于接收控制输入的接口(如:显示设备本体上的实体按键,或其他等)。
在一些实施例中,显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构,它们让用户可以管理文件、运行程序并使用系统。上电后,内核启动,激活内核空间,抽象硬件、初始化硬件参数等,运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后,再加载Shell和用户应用程序。应用程序在启动后被编译成机器码,形成一个进程。
图3b为显示设备200在执行本申请所提供的高动态范围图像的显示处理方法时各内部模块的处理流程图,包括:
步骤301:显示设备200将接收到的HDR图像信号输入到直方图(HIST膜块2010,并在执行步骤301时,执行步骤302:将该图像信号输出到格式转换(YUV2RGB)模块2011中,通过格式转换模块2011将YUV格式的图像信号转换为RGB(颜色值)格式。
直方图模块2010针对所接收的HDR图像信号,获取该帧图像的最大亮度值,并根据该图像的灰阶直方图确定归一化因子后,执行步骤303:将最大亮度值和归一化因子输出给归一化(NORM)模块203。图像信号在转换完成后,格式转换模块2011执行步骤304:将RGB格式的图像信号输入到预处理(avgmaxRGB)模块202中。预处理模块202针对所接收的RGB格式的图像信号获取该帧图像的每一像素点的RGB分量后执行步骤305:将该帧图像每一像素点的RGB分量输出给归一化模块203。
通过执行步骤303使归一化模块203获取归一化因子和最大亮度值确定归一化系数后,归一化模块203根据该归一化系数对该帧图像每一像素点的RGB分量进行归一化处理。并执行步骤306:将处理后的归一化图像输出给查找映射表模块204。查找映射表(ToneMapping)模块204在接收归一化模块203发送的归一化图像后,对归一化图像的亮度进行校正。
在一些可能的实施例中,查找映射表模块204获取归一化图像的灰阶值,并通过HDR标准亮度曲线对该灰阶值进行映射,以使归一化图像符合HDR标准亮度曲线的亮度标准。
完成亮度校正后,查找映射表模块执行步骤307:将亮度校正后的归一化图像作为中间图像输出给格式转换(RGB2YUV)模块205。格式转换模块205将所接收的中间图像的图像格式由RGB格式转换为YUV格式。为避免归一化图像的图像颜色在亮度校正后产生饱和,可通过执行步骤308:YUV格式的中间图像输入到颜色饱和度校正(ColorSaturationMapping)模块206中进行颜色校正。最后,颜色饱和度校正模块执行步骤309:将颜色饱和度校正后的图像信号输出给显示器207。
为便于理解图3b中显示设备200内部各模块的具体执行情况,下面通过图4a对本申请实施例所提供的高动态范围图像的显示处理方法进行详细说明,包括以下步骤:
显示设备200执行步骤401:获取高动态范围HDR图像之后,将图像信号发送给图3b中示出的直方图模块2010中,直方图模块2010确定该HDR图像的灰阶直方图,并基于该灰阶直方图确定HDR图像的归一化因子。实施时可如图4b所示,直方图模块2010中的统计单元首先检测处HDR图像中各像素点的灰阶值,并基于各像素点的灰阶值构建灰阶直方图。进一步的,将该灰阶直方图发送给归一化因子获取单元和亮度获取单元。亮度获取单元用于获取该帧图像的最大亮度值。归一化因子获取单元用于对灰阶直方图进行区域划分,具体可如图4c所示,以包含5个区域的灰阶直方图为例,从第一区域内的像素点个数开始累加,直至累加数占据像素点总数的95%,此时把该灰阶作为归一化因子Max95。应理解的是,本申请仅以归一化因子Max95的获取方式为例进行说明,并非将本申请所提供的方案中的归一化因子限定为Max95,实施时可根据不同应用场景将归一化因子限定为Max85、Max90等小于Max100的临界值,本申请对此不作限定。
另由于所接收的图像信号为YUV格式,显示设备200需控制格式转换模块2011将YUV格式的图像信号转换为RGB格式。进一步的,通过预处理模块202确定RGB格式的目标帧图像中每一像素点的RGB分量。
通过上述流程获取到目标帧图像的归一化因子、最大亮度值以及每一像素点的RGB分量后,将上述数据发送给归一化模块203中,控制归一化模块203执行步骤402:对所述HDR图像的颜色值进行归一化处理,得到归一化图像。
实施时如图4d所示,归一化模块203中的归一化系数单元对所接收的归一化因子和最大亮度值进行加权求和,并将加权求和值通过光电转换单元的EOTF函数(光电转换函数)转换到线性域中,以此得到归一化系数。将每一像素点的RGB分类除以归一化系数,即实现对目标帧图像的归一化处理。其中,归一化因子和最大亮度值的权重可根据实际情况由用户手动输入。最大亮度值的权重占比越高,最终所得的归一化图像整体亮度越大。
考虑到归一化处理为了扩充像素点的动态范围,若在显示时原本低亮的场景(如夜空)可能存在被扩充动态范围过大,导致夜空场景变成了傍晚场景的情况。为避免此类情况发生,可根据实际情况设置阈值,以使低亮或高亮场景不会发生过大改变。实施时,可如图4d中示出的,在归一化模块203中添加系数阈值单元。在确定归一化系数后,将归一化系数输入系数阈值单元中与预设系数阈值进行比较。若归一化系数小于系数阈值,则将该系数阈值作为归一化系数来对各像素点的RGB分量进行归一化处理。以此避免图像的实际场景因像素点的动态范围扩充而发生明显改变。
对目标帧图像各像素点的RGB分量进行归一化处理后,将所得到的归一化图像发送给图3b中示出的查找映射表模块204,并控制查找映射表模块204执行步骤403:基于查找映射表对所述归一化图像的亮度进行校正,得到中间图像。
实施时如图4e所示,将归一化图像输入到查找映射表模块204中,控制灰阶值确定单元确定归一化图像对应的灰阶值。具体的,可将归一化图像的最大亮度值设为归一化图像的灰阶值,此外还可将RGB分量的最大值设为归一化图像的灰阶值。确定灰阶值G后,根据查找表单元中预先设定的映射曲线获取灰阶值G的映射值Gtm。通过上述流程获取的Gtm即为归一化图像根据映射曲线校正后的亮度。以此保证归一化图像的各像素点均符合HDR标准亮度曲线的亮度标准。
上述预设的映射曲线可为HDR标准亮度曲线,另考虑到HDR标准亮度曲线在灰阶值低于一定程度时会以直线的形式体现,即过低灰阶值的像素点间的亮度区别不会被显示出来。为避免上述情况,可采用多条曲线拼接得到的混合曲线作映射曲线。实施时,可针对中低阶的灰度值G采用伽马变化曲线进行映射,针对中高阶的灰度值则采用HDR标准亮度曲线进行映射,以此提高较暗场景的对比度,丰富暗场图像细节。通过上述流程,获取归一化图像每一像素点灰阶值G的映射值Gtm后,采用映射值Gtm校正其对应的像素点亮度。
除却对归一化图像的亮度进行校正之外,还需要对归一化图像中各像素点的RGB分量进行校正。实施时如图4e中所示,将各像素点的灰阶值G和映射值Gtm发送给校正因子单元,通过校正因子单元来确定归一化图像中每一像素点对应的校正因子gain。具体的,可将映射值Gtm与灰阶值G间的比值作为校正因子gain。在获取校正因子gain后,校正单元根据各像素点的校正因子对各像素点的RGB分量进行校正。具体的,将gain值与RGB分量相乘即可得到校正后的RGB各分量值。
此外,为避免校正前后的RGB分量差异过大导致图像画面色调发生较大改变,可设置校正阈值。若所获取的校正因子大于校正阈值,则表示校正前后的RGB分量差异过大,此时可将校正阈值作为校正因子对归一化图像的各像素点的RGB分量进行校正。
由于对归一化图像的亮度和各像素点的RGB分量进行校正后,归一化图像的最大饱和度也会随之改变,为避免颜色显示失真需对校正后的归一化图像的颜色饱和度进行校正。实施时如图3b所示,首先将校正后的归一化图像作为中间图像进行格式转换,以使RGB格式的中间图像转换为YUV格式。进一步的通过颜色饱和度校正模块206执行步骤404:对所述中间图像进行颜色饱和度校正后输出。
对中间图像的颜色饱和度进行校正即为对YUV格式的中间图像的色度(即U和V)进行校正,以避免颜色失真的问题。具体如图4f所示,将初始图像(即步骤401中接收的图像信号)和中间图像发送给色度校正因子单元,根据初始图像和中间图像的亮度确定中间图像的亮度变化程度。
实施时,可基于HDR标准曲线确定初始图像的灰阶值G对应的亮度LumG,并基于HDR标准曲线确定中间图像的映射值Gtm对应的亮度值LumGtm。将LumGtm与LumG的比值作为色度校正因子UVgain。通过色度校正因子对各像素点的色度进行校正,即可避免颜色失真问题的发生。
此外,可基于原始图像获取最大色度校正因子,并根据中间图像对应的校正因子和原始图像对应的最大校正因子来选取相对较小的值作为最终的校正因子。以此进一步保证校正后颜色的真实性。具体的,可如图4f所示,将初始图像输入最大色度校正因子单元中获取最大色校正因子。获取过程中,为使颜色不发生饱和,需确保校正后的YUV图像转到RGB空间时,各像素点的RGB分类不会超出[0,Max]的范围。实施时需对RGB三个通道分别计算,下面以R通道为例进行说明,应理解的是G和B通道均可通过相同方式进行计算。
具体的,为保证YUV图转换到RGB空间后的R值在[0,255],需在R通道下计算出两个校正值:Maxgain1和Maxgain2。Maxgain1可如下述公式(1)所示,Maxgain2可如下述公式(2)所示:
Figure BDA0003068869160000161
Figure BDA0003068869160000162
其中,Myr、Mur、Mvr是YUV图像转换到RGB空间时的转换矩阵系数。
通过上述流程,分别以最小值0和最大值Max确定Maxgain1和Maxgain2后,选取出Maxgain1和Maxgain2中较大值作为R通道的最大色度校正因子。以此在确保YUV格式的图像在转换到RGB空间后不会出现颜色值超过可显示范围的问题。
此外,上述最大值Max可选取为最大灰阶值255,也可根据图像的亮度变化来饱和度的限制自适应选取最大值Max。实施时,可如下述公式(3)所示确定最大值Max:
MAX=Myr*Ytm+Mur*Utm+Mvr*Vtm 公式(3)
其中,Myr、MurMvr是YUV图像转换到RGB空间时的转换矩阵系数;Ytm表示校正后的亮度值(即归一化图像的亮度值);Utm表示经过校正后的U值,可如下述公式(4)确定;Vtm表示经过校正后的V值,可如下述公式(5)确定。
Figure BDA0003068869160000171
其中,U为初始图像的U值;Umax_tm表示同一色调下Ytm亮度下所能达到的最大理论U值;Umax表示同一色调下,经查找映射表模块校正前的亮度所能达到的最大理论U值;
Figure BDA0003068869160000172
其中,V为初始图像的V值;Vmax_tm表示同一色调下Ytm亮度下所能达到的最大理论V值;Vmax表示同一色调下,经查找映射表模块校正前的亮度所能达到的最大理论V值。
通过上述流程确定初始图像对应的最大色度校正因子后,通过最大色度校正因子和校正因子(上述UVgain)进行对比,并选取较小值作为最终的校正因子。进一步的,色度校正单元(图4f中示出的)根据最终的校正因子对YUV格式的中间图像的每一像素点的UV值进行校正。由此,可避免因图像亮度改变后导致图像的最大饱和度改变,造成图像颜色失真的问题。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种高动态范围图像的显示处理方法,其特征在于,所述方法包括:
获取高动态范围HDR图像;
对所述HDR图像的颜色值进行归一化处理,得到归一化图像;
基于查找映射表对所述归一化图像的亮度进行校正,得到中间图像;
对所述中间图像进行颜色饱和度校正后输出。
2.根据权利要求1所述的方法,其特征在于,所述对所述HDR图像的颜色值进行归一化处理,包括:
获取所述HDR图像的灰阶直方图;
根据所述灰阶直方图确定所述HDR图像的归一化因子,所述归一化因子的灰阶值小于所述灰阶直方图的最大灰阶值;
对所述HDR图像最大亮度值和所述归一化因子加权求和,得到归一化系数;
采用所述归一化系数对所述HDR图像的颜色值进行归一化处理。
3.根据权利要求2所述的方法,其特征在于,所述对所述HDR图像最大亮度值和所述归一化因子加权求和,得到归一化系数,包括:
响应于输入操作,得到权重系数;
基于所述权重系数,对所述HDR图像最大亮度值和所述归一化因子加权求和,得到归一化系数。
4.根据权利要求2所述的方法,其特征在于,所述得到归一化系数之后,所述方法还包括:
若所述归一化系数小于系数阈值,则将所述归一化系数更正为所述系数阈值。
5.根据权利要求1所述的方法,其特征在于,所述基于查找映射表对所述归一化图像的亮度进行校正,包括:
确定所述归一化图像的灰阶值;
根据所述查找映射表的预设曲线确定所述灰阶值的映射值;
根据所述映射值对所述归一化图像的亮度进行校正,得到所述中间图像。
6.根据权利要求5所述的方法,其特征在于,所述灰阶值包括所述归一化图像的颜色值中的最大值,或所述归一化图像的最大亮度值。
7.根据权利要求5所述的方法,其特征在于,所述预设曲线为HDR标准曲线,或多条曲线拼接得到的混合曲线。
8.根据权利要求5所述的方法,其特征在于,所述根据所述查找映射表的预设曲线确定所述灰阶值的映射值之后,所述方法还包括:
将所述映射值和所述灰阶值的比值作为校正因子;
采用所述校正因子对所述归一化图像的颜色值进行校正。
9.根据权利要求8所述的方法,其特征在于,所述采用所述校正因子对所述归一化图像的颜色值进行校正之前,所述方法还包括:
若所述校正因子大于校正阈值,则将所述校正因子更正为所述校正阈值。
10.一种显示设备,其特征在于,包括:显示器、存储器和控制器,其中:
所述显示器用于显示信息;
所述存储器,用于存储可被所述控制器执行的计算机程序;
所述控制器,所述控制器分别连接所述显示器和所述存储器,被配置为:
获取高动态范围HDR图像;
对所述HDR图像的颜色值进行归一化处理,得到归一化图像;
基于查找映射表对所述归一化图像的亮度进行校正,得到中间图像;
对所述中间图像进行颜色饱和度校正后输出。
CN202110533448.XA 2021-05-17 2021-05-17 高动态范围图像的显示处理方法及相关装置 Active CN113240644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110533448.XA CN113240644B (zh) 2021-05-17 2021-05-17 高动态范围图像的显示处理方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110533448.XA CN113240644B (zh) 2021-05-17 2021-05-17 高动态范围图像的显示处理方法及相关装置

Publications (2)

Publication Number Publication Date
CN113240644A true CN113240644A (zh) 2021-08-10
CN113240644B CN113240644B (zh) 2022-04-22

Family

ID=77134559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110533448.XA Active CN113240644B (zh) 2021-05-17 2021-05-17 高动态范围图像的显示处理方法及相关装置

Country Status (1)

Country Link
CN (1) CN113240644B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152369A (zh) * 2022-12-31 2023-05-23 廊坊奎达信息技术有限公司 一种基于大数据技术的图像动态可视化方法
CN116309186A (zh) * 2023-05-12 2023-06-23 北京理工大学 一种基于多段s曲线映射的红外图像动态范围压缩方法
WO2023246489A1 (zh) * 2022-06-21 2023-12-28 苏州源控电子科技有限公司 一种支持多通道音视频输入的一体机设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104618700A (zh) * 2015-01-29 2015-05-13 电子科技大学 一种彩色高动态范围图像增强显示的方法
CN107211142A (zh) * 2015-01-30 2017-09-26 汤姆逊许可公司 对彩色图像进行解码的方法和设备
CN107438182A (zh) * 2016-05-04 2017-12-05 汤姆逊许可公司 用于对高动态范围画面进行编码/解码的方法和装置
CN108090879A (zh) * 2017-12-12 2018-05-29 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备
CN110378859A (zh) * 2019-07-29 2019-10-25 西南科技大学 一种新的高动态范围图像生成方法
CN110612550A (zh) * 2017-05-05 2019-12-24 皇家飞利浦有限公司 优化经解码的高动态范围图像饱和度

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104618700A (zh) * 2015-01-29 2015-05-13 电子科技大学 一种彩色高动态范围图像增强显示的方法
CN107211142A (zh) * 2015-01-30 2017-09-26 汤姆逊许可公司 对彩色图像进行解码的方法和设备
CN107438182A (zh) * 2016-05-04 2017-12-05 汤姆逊许可公司 用于对高动态范围画面进行编码/解码的方法和装置
CN110612550A (zh) * 2017-05-05 2019-12-24 皇家飞利浦有限公司 优化经解码的高动态范围图像饱和度
CN108090879A (zh) * 2017-12-12 2018-05-29 上海顺久电子科技有限公司 一种对输入的高动态范围图像进行处理的方法和显示设备
CN110378859A (zh) * 2019-07-29 2019-10-25 西南科技大学 一种新的高动态范围图像生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SMPTE: "ST 2094-40:2020 - SMPTE Standard - Dynamic Metadata for Color Volume Transform — Application #4", 《IEEE》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023246489A1 (zh) * 2022-06-21 2023-12-28 苏州源控电子科技有限公司 一种支持多通道音视频输入的一体机设备
CN116152369A (zh) * 2022-12-31 2023-05-23 廊坊奎达信息技术有限公司 一种基于大数据技术的图像动态可视化方法
CN116152369B (zh) * 2022-12-31 2023-09-22 廊坊奎达信息技术有限公司 一种基于大数据技术的图像动态可视化方法
CN116309186A (zh) * 2023-05-12 2023-06-23 北京理工大学 一种基于多段s曲线映射的红外图像动态范围压缩方法
CN116309186B (zh) * 2023-05-12 2023-09-12 北京理工大学 一种基于多段s曲线映射的红外图像动态范围压缩方法

Also Published As

Publication number Publication date
CN113240644B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN113240644B (zh) 高动态范围图像的显示处理方法及相关装置
CN112214189B (zh) 图像显示方法及显示设备
CN113630655B (zh) 一种外设设备颜色随画面颜色变化的方法及显示设备
CN114630053B (zh) 一种hdr图像显示方法及显示设备
CN112118468A (zh) 一种外设设备颜色跟随画面颜色变化的方法及显示设备
CN113094142A (zh) 页面显示方法及显示设备
WO2021189708A1 (zh) 一种显示设备开启屏幕保护的方法及显示设备
CN111899175A (zh) 图像转换方法及显示设备
CN112289271B (zh) 显示设备及调光方式切换方法
CN111064982B (zh) 一种显示控制方法、存储介质及显示设备
CN112565915B (zh) 显示设备和显示方法
CN111078926A (zh) 一种人像缩略图像的确定方法及显示设备
CN113453069B (zh) 一种显示设备及缩略图生成方法
CN112218156B (zh) 一种调节视频动态对比度的方法及显示设备
CN113015017B (zh) 一种画质补偿方法及显示设备
CN111541924B (zh) 显示设备及显示方法
CN113434240B (zh) 图像模式的显示方法及显示设备
CN113515249B (zh) 一种用于智能显示设备的支持可变刷新率信号的装置
CN115547265A (zh) 显示设备及显示方法
CN113038215A (zh) 一种图像显示亮度和色差的调整方法及显示设备
CN114296664A (zh) 一种副屏亮度调节方法及显示设备
CN113015006B (zh) 显示设备及显示方法
CN114360453B (zh) 一种噪声去除方法、装置、显示设备、芯片及介质
CN113613007B (zh) 一种三维色彩查找表的生成方法及显示设备
WO2023116100A1 (zh) 一种显示设备、图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant