CN117241145A - 终端设备及创建/显示hdr图像的方法 - Google Patents

终端设备及创建/显示hdr图像的方法 Download PDF

Info

Publication number
CN117241145A
CN117241145A CN202310012648.XA CN202310012648A CN117241145A CN 117241145 A CN117241145 A CN 117241145A CN 202310012648 A CN202310012648 A CN 202310012648A CN 117241145 A CN117241145 A CN 117241145A
Authority
CN
China
Prior art keywords
brightness
image
pixel
pixel point
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310012648.XA
Other languages
English (en)
Inventor
丁岳
胡杰
陈国乔
雷财华
武理友
赫伽宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202310012648.XA priority Critical patent/CN117241145A/zh
Publication of CN117241145A publication Critical patent/CN117241145A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种终端设备及创建/显示HDR图像的方法,涉及图像处理技术领域。可以使HDR图像在动态范围更高的设备上显示时具有更高的动态范围。该终端设备被配置为:获得多个曝光参数下的多帧图像,对所述多帧图像进行色调映射得到所述第一图像,对第一图像上每个像素点在目标曝光参数下的亮度信息和像素值分别进行编码操作得到图像文件;然后在显示图像文件时,对图像文件进行解码操作,得到第一图像中每个像素点的像素值以及每个像素点的亮度信息;将第一图像划分为暗部区域和高亮区域;基于第一调整系数调整、第二调整系数分别调整暗部区域、高亮区域内的像素点的像素值,得到扩展图像;增大屏幕亮度并显示扩展图像。

Description

终端设备及创建/显示HDR图像的方法
本申请是分案申请,原申请的申请号为202210675917.6,原申请日是2022.06.15,原申请的全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像处理技术领域,尤其涉及一种终端设备及创建/显示HDR图像的方法。
背景技术
随着终端行业的发展,大多终端设备都支持高动态范围(high dynamic range,HDR)摄影技术。HDR摄影技术可以在典型成像传感器和显示设备中可用的动态范围有限的情况下,捕获和显示真实世界的巨大动态范围。
目前,HDR摄影技术的实现方式通常为:拍摄多张同一场景的不同曝光程度的图像,将这些图像融合在一起成为单个图像,然后应用某种形式的“色调映射”操作将融合所得的图像带入标准动态范围(standard dynamic range,SDR)显示器的动态范围。融合所得的图像一般存储为8位图像,其最终动态范围大约为255:1。
但随着显示技术的不断改进,目前的显示设备大多都能提供比255:1更高的动态范围。而这些显示设备在显示融合所得的图像时,并不能将该图像以更高的动态范围显示出来。
发明内容
有鉴于此,本申请提供了一种终端设备及创建/显示HDR图像的方法,可以使HDR图像在动态范围更高的设备上显示时高光区域和暗部区域具有更高的对比度,具有更高的动态范围。
第一方面,本申请提供一种终端设备,终端设备包括显示屏、存储器和一个或多个处理器,一个或多个处理器与存储器耦合;其中,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;一个或多个处理器被配置为执行计算机指令时,执行以下操作:响应于用户查看图像文件的操作,对图像文件进行解码操作,得到第一图像中每个像素点的像素值以及第一图像中每个像素点在目标曝光参数下的亮度信息;根据每个像素点的亮度信息,将第一图像划分为多个图像区域,多个图像区域包括第一区域和第二区域,第一区域为第一图像中的暗部区域,第二区域为第一图像中的高亮区域;根据显示屏的当前屏幕亮度和最大屏幕亮度确定目标屏幕亮度,目标屏幕亮度大于当前屏幕亮度,且小于等于最大屏幕亮度;基于第一调整系数调整第一区域内的像素点的像素值,基于第二调整系数调整第二区域内的像素点的像素值,得到扩展图像,其中,第一调整系数为当前屏幕亮度与目标屏幕亮度的比值,第二调整系数大于等于1;将显示屏的屏幕亮度调整为目标屏幕亮度,显示扩展图像。
在显示第一图像的过程中,通过增大手机的屏幕亮度,以增大每个像素点的观测亮度;同时通过降低第一区域内像素点的像素值,以降低第一区域内的像素点的观测亮度,以及增大或者保持第二区域内像素点的像素值,以增大或保持第二区域内的像素点的观测亮度,达到不改变第二区域内的像素点的观测亮度并增大第二区域内的像素点的观测亮度的效果。也就是说,在显示HDR图像(第一图像)的过程中,可使HDR图像中亮的区域更亮,暗的区域更暗或者保持不变,增大了HDR图像的明暗对比度,扩大了HDR图像的动态范围。
在第一方面的一种实施方式中,一个或多个处理器还被配置为执行以下操作:获得多个曝光参数下的多帧图像,多帧图像与多个曝光参数一一对应;对多帧图像进行色调映射得到第一图像;获取第一图像中每个像素点的像素值;按照预设的像素点分组策略对第一图像中的像素点进行分组,获取每组像素点在目标曝光参数下的亮度信息,目标曝光参数为多个曝光参数中的一个曝光参数,或者为根据多个曝光参数中的至少两个曝光参数确定的参数;对亮度信息及每个像素点的像素值分别进行编码操作,得到图像文件。
基于本申请实施方式得到的图像文件,既包括第一图像的像素值,又包括未进行色调映射前的亮度信息,该亮度信息可以更好地反映第一图像的真实亮度情况。如此,在显示第一图像的过程中基于该亮度信息对第一图像的动态范围进行调整,可使图片被显示后,更接近真实亮度。
在第一方面的一种实施方式中,一个或多个处理器还被配置为执行以下操作:获取目标曝光参数对应的目标曝光图像,其中,若目标曝光参数为多个曝光参数中的第一参数,目标曝光图像为第一参数对应的图像帧;若目标曝光参数为根据多个曝光参数中的至少两个曝光参数确定的参数,目标曝光图像为至少两个曝光参数对应的图像帧融合得到的图像;获取每组像素点中的每个像素点在目标曝光图像中的亮度值;将每组像素点中所有像素点在目标曝光图像中的亮度值的均值作为该组像素点在目标曝光参数下的亮度信息。通过将像素点进行分组操作,可以减少亮度信息的数量,从而缩小文件的大小。
在第一方面的一种实施方式中,一个或多个处理器还被配置为执行以下操作:对每个像素点的像素值进行编码操作得到第一编码数据;对亮度信息进行编码操作得到第二编码数据;将第二编码数据写入第一编码数据,得到图像文件。也就是说,可以将亮度信息写入图像中,仅得到一个图像文件。
在第一方面的一种实施方式中,第二区域包括M个像素点,第二调整系数包括M个子调整系数,M个像素点与M个子调整系数一一对应,一个或多个处理器还被配置为执行以下操作:根据第j个像素点的亮度信息确定第j个像素点的亮度值,j≤M;根据第j个像素点的亮度值计算第j个像素点的子调整系数,其中,第j个像素点的子调整系数与第j个像素点的亮度值呈正相关,第j个像素点的子调整系数大于1;基于第j个像素点的子调整系数调整第j个像素点的像素值。
也就是说,每个像素点的第二调整系数可以不同。通过这种方式调整第二区域的像素值,可保留第二区域内每个像素点的明暗对比情况,使显示结果更加真实。
在第一方面的一种实施方式中,第二调整系数为1。
在第一方面的一种实施方式中,一个或多个处理器还被配置为执行以下操作:根据每个像素点的亮度信息确定对应像素点的亮度值;计算得到每个像素点的亮度值的亮度均值;根据亮度均值确定第一阈值,第一阈值大于亮度均值,且第一阈值与亮度均值呈正相关;若任意一个像素点的亮度值小于第一阈值,将任意一个像素点划分至第一区域;若任意一个像素点的亮度值大于等于第一阈值,将任意一个像素点划分至第二区域。
在第一方面的一种实施方式中,多个图像区域还包括第三区域,一个或多个处理器还被配置为执行以下操作:根据每个像素点的亮度信息确定对应像素点的亮度值;计算得到每个像素点的亮度值的亮度均值;根据亮度均值确定第二阈值和第三阈值,第二阈值小于亮度均值,第三阈值大于亮度均值,且第二阈值、第三阈值与亮度均值呈正相关;若任意一个像素点的亮度值小于第二阈值,将任意一个像素点划分至第一区域;若任意一个像素点的亮度值大于等于第二阈值,且小于第三阈值,将任意一个像素点划分至第三区域;若任意一个像素点的亮度值大于等于第三阈值,将任意一个像素点划分至第二区域。
在第一方面的一种实施方式中,目标屏幕亮度为最大屏幕亮度。
在第一方面的一种实施方式中,目标屏幕亮度为最大屏幕亮度与第一亮度阈值中的较大值,第一亮度阈值为当前屏幕亮度与预设倍数的乘积。
第二方面,本申请实施例提供了一种终端设备,终端设备包括显示屏、存储器和一个或多个处理器,一个或多个处理器与存储器耦合;其中,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令;一个或多个处理器被配置为执行计算机指令时,执行以下操作:获得多个曝光参数下的多帧图像,多帧图像与多个曝光参数一一对应;对多帧图像进行色调映射得到第一图像;获取第一图像中每个像素点的像素值;按照预设的像素点分组策略对第一图像中的像素点进行分组,获取每组像素点在目标曝光参数下的亮度信息,目标曝光参数为多个曝光参数中的一个曝光参数,或者为根据多个曝光参数中的至少两个曝光参数确定的参数;对亮度信息及每个像素点的像素值分别进行编码操作,得到图像文件。
可以看出,基于本申请实施方式得到的图像文件,既包括第一图像的像素值,又包括未进行色调映射前的亮度信息,该亮度信息可以更好地反映第一图像的真实亮度情况。如此,在显示第一图像的过程中基于该亮度信息对第一图像的动态范围进行调整,可使图片被显示后,更接近真实亮度。
在第二方面的一种实施方式中,一个或多个处理器还被配置为执行以下操作:获得多个曝光参数下的多帧图像,多帧图像与多个曝光参数一一对应;对多帧图像进行色调映射得到第一图像;获取第一图像中每个像素点的像素值;按照预设的像素点分组策略对第一图像中的像素点进行分组,获取每组像素点在目标曝光参数下的亮度信息,目标曝光参数为多个曝光参数中的一个曝光参数,或者为根据多个曝光参数中的至少两个曝光参数确定的参数;对亮度信息及每个像素点的像素值分别进行编码操作,得到图像文件。通过将像素点进行分组操作,可以减少亮度信息的数量,从而缩小文件的大小。
在第二方面的一种实施方式中,一个或多个处理器还被配置为执行以下操作:对每个像素点的像素值进行编码操作得到第一编码数据;对亮度信息进行编码操作得到第二编码数据;将第二编码数据写入第一编码数据,得到图像文件。也就是说,可以将亮度信息写入图像中,仅得到一个图像文件。
第三方面,本申请实施例提供了一种创建HDR图像的方法,应用于终端设备,方法包括:获得多个曝光参数下的多帧图像,多帧图像与多个曝光参数一一对应;对多帧图像进行色调映射得到第一图像;获取第一图像中每个像素点的像素值;按照预设的像素点分组策略对第一图像中的像素点进行分组,获取每组像素点在目标曝光参数下的亮度信息,目标曝光参数为多个曝光参数中的一个曝光参数,或者为根据多个曝光参数中的至少两个曝光参数确定的参数;对亮度信息及每个像素点的像素值分别进行编码操作,得到图像文件。
在第三方面的一种实施方式中,获取每组像素点在目标曝光参数下的亮度信息包括:获取目标曝光参数对应的目标曝光图像,其中,若目标曝光参数为多个曝光参数中的第一参数,目标曝光图像为第一参数对应的图像帧;若目标曝光参数为根据多个曝光参数中的至少两个曝光参数确定的参数,目标曝光图像为至少两个曝光参数对应的图像帧融合得到的图像;获取每组像素点中的每个像素点在目标曝光图像中的亮度值;将每组像素点中所有像素点在目标曝光图像中的亮度值的均值作为该组像素点在目标曝光参数下的亮度信息。
在第三方面的一种实施方式中,对亮度信息及每个像素点的像素值分别进行编码操作,得到图像文件包括:对每个像素点的像素值进行编码操作得到第一编码数据;对亮度信息进行编码操作得到第二编码数据;将第二编码数据写入第一编码数据,得到图像文件。
第四方面,本申请实施例还提供了一种显示HDR图像的方法,应用于终端设备,方法包括:响应于用户查看图像文件的操作,对图像文件进行解码操作,得到第一图像中每个像素点的像素值以及第一图像中每个像素点在目标曝光参数下的亮度信息;根据每个像素点的亮度信息,将第一图像划分为多个图像区域,多个图像区域包括第一区域和第二区域,第一区域为第一图像中的暗部区域,第二区域为第一图像中的高亮区域;根据显示屏的当前屏幕亮度和最大屏幕亮度确定目标屏幕亮度,目标屏幕亮度大于当前屏幕亮度,且小于等于最大屏幕亮度;基于第一调整系数调整第一区域内的像素点的像素值,基于第二调整系数调整第二区域内的像素点的像素值,得到扩展图像,其中,第一调整系数为当前屏幕亮度与目标屏幕亮度的比值,第二调整系数大于等于1;将显示屏的屏幕亮度调整为目标屏幕亮度,显示扩展图像。
在第四方面的一种实施方式中,第二区域包括M个像素点,第二调整系数包括M个子调整系数,M个像素点与M个子调整系数一一对应,基于第二调整系数调整第二区域内的像素点的像素值包括:根据第j个像素点的亮度信息确定第j个像素点的亮度值,j≤M;根据第j个像素点的亮度值计算第j个像素点的子调整系数,其中,第j个像素点的子调整系数与第j个像素点的亮度值呈正相关,第j个像素点的子调整系数大于1;基于第j个像素点的子调整系数调整第j个像素点的像素值。
在第四方面的一种实施方式中,第二调整系数为1。
在第四方面的一种实施方式中,根据每个像素点的亮度信息,将第一图像划分为多个图像区域包括:根据每个像素点的亮度信息确定对应像素点的亮度值;计算得到每个像素点的亮度值的亮度均值;根据亮度均值确定第一阈值,第一阈值大于亮度均值,且第一阈值与亮度均值呈正相关;若任意一个像素点的亮度值小于第一阈值,将任意一个像素点划分至第一区域;若任意一个像素点的亮度值大于等于第一阈值,将任意一个像素点划分至第二区域。
在第四方面的一种实施方式中,多个图像区域还包括第三区域,根据每个像素点的亮度信息,将第一图像划分为多个图像区域包括:根据每个像素点的亮度信息确定对应像素点的亮度值;计算得到每个像素点的亮度值的亮度均值;根据亮度均值确定第二阈值和第三阈值,第二阈值小于亮度均值,第三阈值大于亮度均值,且第二阈值、第三阈值与亮度均值呈正相关;若任意一个像素点的亮度值小于第二阈值,将任意一个像素点划分至第一区域;若任意一个像素点的亮度值大于等于第二阈值,且小于第三阈值,将任意一个像素点划分至第三区域;若任意一个像素点的亮度值大于等于第三阈值,将任意一个像素点划分至第二区域。
在第四方面的一种实施方式中,目标屏幕亮度为最大屏幕亮度。
在第四方面的一种实施方式中,目标屏幕亮度为最大屏幕亮度与第一亮度阈值中的较大值,第一亮度阈值为当前屏幕亮度与预设倍数的乘积。
第五方面,本申请实施例还提供了一种计算机可读存储介质,包括计算机指令,当计算机指令在终端上运行时,使得终端执行第三方面、第四方面中任一项的方法。
第六方面,本申请实施例还提供了一种计算机程序产品,包括计算机指令,当计算机指令在终端上运行时,使得终端执行第三方面、第四方面中任一项的方法。
可以理解地,上述提供的第五方面的计算机可读存储介质,第六方面的计算机程序产品所能达到的有益效果,可参考如第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种终端设备的结构示意图;
图2A为本申请实施例提供的一种创建HDR图像方法的流程图;
图2B为本申请实施例提供的一种合成第一图像的示意图;
图3为一种拍摄示意图;
图4为一种像素点分组策略的示意图;
图5为另一种像素点分组策略的示意图;
图6为本申请实施例提供的一种显示HDR图像方法的流程图;
图7为本申请实施例提供的一种以不同方法显示图像的示意图;
图8为本申请实施例提供的一种芯片系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请的描述中,除非另有说明,“至少一个”是指一个或多个,“多个”是指两个或多于两个。另外,为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
为了下述各实施例的描述清楚简洁,首先给出相关概念或技术的简要介绍:
HDR,是指信号最高值和最低值之间的比值(即动态范围)大于或等于预设的第一阈值。将HDR反映在图像中,可以理解为图像中存在高光区域和暗部区域,高光区域的亮度值和暗部区域的亮度值之间的比值超过第一阈值。这样的图像也可称为HDR图像。
SDR,是指信号最高值和最低值之间的比值(即动态范围)小于预设的第一阈值且大于或等于预设的第二阈值(第二阈值小于第一阈值)。将SDR反映在图像中,可以理解为图像中存在高光区域和暗部区域,高光区域的亮度值和暗部区域的亮度值之间的比值小于预设的第一阈值且大于或等于预设的第二阈值。这样的图像也可称为SDR图像。
曝光(exposure values,EV)值,可反映图像的曝光水平。通过调整摄像头的曝光参数,可使图像具有不同的EV。其中,曝光参数是指用于影响摄像头曝光量大小的参数,所述参数包括但不限于光圈、快门、曝光时间以及感光度等等。在本申请实施例中,将正常曝光的曝光值的表示为EV0,将欠曝光的曝光值表示为EV-,将过曝光的曝光值表示为EV+。另外,将曝光值EV0×2n表示为EVn。例如,EV-1表示曝光值为EV0的一半,EV-2表示曝光值为EV-1的一半;再例如,EV1表示曝光值为EV0的二倍,EV2表示曝光值为EV1的二倍。
现有技术提供的一种方案中,终端设备可以拍摄多张同一场景下的不同曝光值的图像,将这些图像融合在一起成为“HDR”图像。不过这种“HDR”图像一般为8位图像,其最终动态范围大约为255:1。这使得“HDR”图像的动态范围仍然在标准动态范围内。也就是说,这种“HDR”图像,实际上为SDR图像。
在具有更高动态范围的设备上显示“HDR”图像时,“HDR”图像的亮度可以随着设备屏幕的亮度增加或者减小。但在变化过程中,“HDR”图像的高光区域和暗部区域的亮度可以同比发生变化,这使得高光区域和暗部区域的对比度并不会发生变化。也就是说,设备所显示的“HDR图像”的动态范围并不会有所改变,并未充分利用设备更高的动态范围。
有鉴于此,本申请实施例提供了一种生成/显示HDR图像的方法,应用于终端设备,该终端设备可以在生成HDR图像的过程中,将可以反映HDR图像的真实亮度情况的亮度信息和HDR图像的像素值编码至图像文件中。以及,在显示HDR图像的过程中,可以根据该真实亮度情况和终端设备的亮度能力来增大或保持HDR图像高光区域,以及缩小暗部区域的像素值,使HDR图像的高光区域更亮,使HDR图像的暗部区域更暗或者接近HDR图像暗部区域原本的亮度,增大了高光区域和暗部区域具有更高的对比度,从而扩大了HDR图像的动态范围,使终端设备所显示的HDR图像更接近真实场景。
本申请实施例提供的图像显示方法可以应用于终端设备。该终端设备可以为手机、平板、笔记本电脑等具备摄像头和显示屏的设备,本申请实施例对终端设备的具体形态不作具体限制。
如图1所示,上述终端设备具体可以为手机100。手机100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentification module,SIM)卡接口195等。
其中,上述传感器模块180可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器和骨传导传感器等传感器。
可以理解的是,本实施例示意的结构并不构成对手机100的具体限定。在另一些实施例中,手机100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以是手机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
可以理解的是,本实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对手机100的结构限定。在另一些实施例中,手机100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为终端设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。在一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
手机100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。在一些实施例中,手机100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得手机100可以通过无线通信技术与网络以及其他设备通信。
天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。
移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在手机100上的包括WLAN(如(wirelessfidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigationsatellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(nearfield communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。
无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
手机100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。该显示屏194包括显示面板。
手机100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。摄像头193用于捕获静态图像或视频。在一些实施例中,手机100可以包括1个或N个摄像头193,N为大于1的正整数。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行手机100的各种功能应用以及数据处理。例如,在本申请实施例中,处理器110可以通过执行存储在内部存储器121中的指令,内部存储器121可以包括存储程序区和存储数据区。
其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flashstorage,UFS)等。
手机100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和手机100的接触和分离。手机100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。
本申请实施例提供了一种可以创建/显示HDR图像的方法。下面将结合附图分别说明创建向后兼容的HDR图像以及显示HDR图像的过程。
在一些实施例中,如图2A所示,创建HDR图像方法的流程可以包括:
S201,获取多帧图像,多帧图像与多个曝光参数一一对应。
其中,多帧图像为手机处于同一场景下,在不同曝光参数下拍摄的图像。示例性的,如图3所示,手机可以显示拍摄预览界面301。该拍摄预览界面301可以包括快门302。响应于用户点击/触摸快门302的操作,手机拍摄多帧图像。在一种可能的实现方式中,手机可以包括第一摄像头、第二摄像头、第三摄像头,第一摄像头、第二摄像头及第三摄像头可分别以不同的曝光参数进行拍摄,以获得多帧图像。又或者,在另一种可能的实现方式中,手机可以不同的曝光参数,连续拍摄多帧图像,且每帧图像的拍摄时间尽量接近同步。
示例性的,如图2B所示,多帧图像可以包括图像1和图像2。其中,图像1为摄像头基于曝光参数1进行拍摄的,图像2为摄像头基于曝光参数2进行拍摄的。可以看出,图像1对应的EV值小于图像2对应的EV值。图像1存在欠曝光的情况,这导致画面中的高光区域有较为清晰的轮廓,但暗部区域由于缺乏曝光较为模糊。图像2存在过曝光的情况,这使得画面中的高光区域由于过曝而失真,暗部区域则由于曝光值的补偿可以看清楚细节、轮廓。
需要说明的是,图2B仅以包括EV-、EV+下的图像帧为例,实际上手机还可以获取更多曝光情况下的图像帧,例如在EV0、EV-1、EV-2、EV+1、EV+2等情况下的图像帧,在此不做具体限制。
S202,对多帧图像进行色调映射得到第一图像。
手机可以色调映射的方式将多帧图像融合成第一图像。其中,色调映射可包括全局色调映射、局部色调映射。全局色调映射可使用直方图、伽马(Gamma)函数、Sigmoid非线性函数等进行映射。全局色调映射可以很好地保留全局对比度,但会损失一些局部细节。而局部色调映射可以先对第一图像进行区域划分,然后对划分后的每个区域按照类似全局色调映射的方式进行处理,最终保留相邻区域之间的相对对比度,可以很好地保留局部细节。
示例性的,得到的第一图像可以如图2B所示。该第一图像相对于单帧图像(例如图2B中的图像1和图像2)而言,其暗部区域和高光区域都有较为明显的细节和轮廓,具有更高的动态范围。也就是说,第一图像为HDR图像。
S203,获取第一图像中每个像素点的像素值。
根据捕获图像的图像传感器类型,每个像素点的像素值包括但不仅限于RGB值、RGGB值、RGBW值、RYYB值等。其中,RGB表示每个像素的颜色由红(red,R)、绿(green,G)和蓝(blue,B)三个分量构成。RGGB表示每个像素的颜色由红、绿、绿、蓝四个分量构成。RGBW表示每个像素的颜色由红、绿、蓝、白(white,W)四分量构成。RYYB表示每个像素的颜色由红、黄(yellow,Y)、黄、蓝四个分量构成。其中,每个像素点的像素值可以通过图像传感器获得。
S204,按照预设的像素点分组策略对第一图像所包括的像素点进行分组,获取每组像素点在目标曝光参数下的亮度信息。
其中,目标曝光参数可以为多个曝光参数中的一个,或者为多个曝光参数中的至少两个曝光参数的组合得到的参数,其可以根据实际拍摄需求进行设置。例如,若需求图像的暗部细节比较清晰,目标曝光参数可以较大;若需求图像的高光区域比较清晰且不存在过曝的情况,目标曝光参数可以较小;若需求图像有较为清晰的明暗对比度,且不存在过曝或者欠曝的情况,目标曝光参数可以适中。在一种可选的实施方式中,该目标曝光参数可以为多个曝光参数组合得到的参数,即该第一图像对应的曝光参数。
示例性的,多个曝光参数包括EV-1、EV0、EV+1、EV+2。手机可以直接取EV-1、EV0、EV+1、EV+2中的任意一个参数作为目标曝光参数。又或者,若在某个场景下为了捕获图像中的暗部细节,需要EV介于EV+1、EV+2之间,则手机可以通过改变曝光时间以及感光度等参数使EV介于EV+1、EV+2之间,得到目标曝光参数。
在另一种可选的实施方式中,可以将多个曝光参数输入预训练好的神经网络模型,得到目标曝光参数。总之,目标曝光参数是可以根据实际拍摄需求而改变的值,其设置方法可以由维护者在后台进行设置、维护。
目标曝光参数对应的图像为目标曝光图像。目标曝光图像可以理解为手机以目标曝光参数进行拍摄时应当得到的曝光图像。若目标曝光参数为多个曝光参数中的一个,目标曝光图像可以是手机在目标曝光参数下拍摄得到的图像。若目标曝光参数为多个曝光参数中至少两个曝光参数组合得到的参数,该目标曝光图像可以为对该至少两个曝光参数对应的图像帧融合得到的图像。例如,多个曝光参数包括EV0、EV-、EV+,并分别对应EV0图像帧、EV-图像帧以及EV+图像帧。若目标曝光参数为EV0,则将该EV0图像帧作为目标曝光图像;若目标曝光参数为EV-、EV+组合得到的参数,则将EV-图像帧和EV+图像帧融合得到的图像作为目标曝光图像。又例如,目标曝光参数为上述多个曝光参数组合得到的参数,则将多个曝光参数对应的多帧图像融合得到的第一图像作为目标曝光图像。
每组像素点在目标曝光参数下的亮度信息,可以理解为每组像素点在目标曝光图像中的亮度信息。例如,手机拍摄了EV0图像、EV-图像以及EV+图像,并基于EV0图像、EV-图像以及EV+图像得到第一图像。若手机将EV0作为目标曝光参数,则第一图像中某组像素点在目标曝光参数下的亮度信息,即为该组像素点在EV0图像中的亮度信息。
另外,预设的像素点分组策略可以根据实际需求进行设置。示例性的,预设的像素点分组策略可以将一个像素点划分为一组,又或者可以将n×m个像素点构成的像素矩阵划分为一组,例如,可以将2×2、3×2个像素点构成的像素矩阵划分为一组,在此不做具体限制。
若手机将一个像素点划分为一组,则每组像素点在目标曝光参数下的亮度信息即为该像素点在目标图像中的亮度值。若手机将n×m个像素点构成的像素矩阵划分为一组,则该组像素点在目标曝光参数下的亮度信息可以为该组像素点中所有像素点在目标图像中的亮度值的平均值,或者为去除所有像素点的亮度值的离群值后剩余的亮度值的平均值,在此不做具体限制。
示例性的,图4示出了一种像素点分组策略。在图4中,手机将每个像素点作为一个像素组。其中,像素点A1的像素值为R1G1B1,像素点A2的像素值为R2G2B2,且像素点A1与像素点A2在图像中的坐标相同。像素点A2在目标曝光参数下的亮度信息,为该像素点A2在目标曝光图像中的亮度信息,即为像素点A1的亮度信息。因此,可以通过像素点A1的像素值R1、G1、B1计算得到像素点A1的亮度信息L1,并将其作为像素点A2在目标曝光参数下的亮度信息。
其中,亮度值与像素值可满足算式:L=0.299R+0.587G+0.114B。其中,L为亮度值。例如,像素点A1的像素值为(R100,G100,B100),可以确定像素点A1的亮度值为0.299R+0.587G+0.114B=29.9+58.7+11.4=100。从而该像素点A2在目标曝光参数下的亮度信息为100。
示例性的,图5示出了另一种像素点分组策略。在图5中,第一图像及目标曝光图像均包括9×4个像素点,手机将9×4个像素点划分为12组,每组像素点包括3×1个像素点。其中,像素组1包括像素点M1、像素点M2以及像素点M3。像素组2包括像素点N1、像素点N2、像素点N3。其中,像素点M1与像素点N1在图像中的坐标相同,像素点M2与像素点N2在图像中的坐标相同,像素点M3与像素点N3在图像中的坐标相同。像素点M1的像素值为R3、G3、B3、W3,像素点M2的像素值为R4、G4、B4、W4,像素点M3的像素值为R5、G5、B5、W5。像素点N1的像素值为R6、G6、B6、W6,像素点N2的像素值为R7、G7、B7、W7,像素点N3的像素值为R8、G8、B8、W8。像素组2在目标曝光参数下的亮度信息,为该像素组2在目标曝光图像中的亮度信息,即为像素组1的亮度信息。手机可以根据像素点M1的像素值(R3、G3、B3、W3)计算得到亮度值L3,根据像素点M2的像素值(R4、G4、B4、W4)计算得到亮度值L4,根据像素点M3的像素值(R5、G5、B5、W5)计算得到亮度值L5,然后将亮度值L3、亮度值L4、亮度值L5的均值L6作为像素组2在目标曝光参数下的亮度信息。
S205,对亮度信息及像素值分别进行编码操作,得到图像文件。
在本申请实施例中,手机可以利用联合图像专家组(Joint PhotographicExperts Group,JEPG)标准、高效率视频编码(high efficiency video coding,HEVC)、便携式网络图型(portable network graphics,PNG)、游程编码(run-length encoding,RLE)等方式对像素值进行编码,以得到第一编码数据。
其中,第一编码数据的格式包括但不仅限于JEPG,高效率图像文件格式(highefficiency image file format,HEIF),HEIC,PNG,位图(Bitmap,BMP),图形交换格式(graphics interchange format,GIF)等,在此不做具体限制。
另外,手机可以采用线性编码或者非线性编码等编码方式对亮度信息进行编码操作,以得到第二编码数据。编码后的每个亮度信息可以有8bit、10bit或者更高的位宽。其中,非线性编码可包括利用伽马函数进行编码等方式,在此不做具体限制。另外,在对亮度信息进行编码时,还可以将像素组的分组方式一同编码至该第二编码数据中。
手机还可以将第二编码数据写入第一编码数据的特定字段,生成图像文件。示例性的,以第一编码数据的格式为PNG为例,一个标准的PNG文件包括PNG文件署名域以及多个PNG数据块。手机可将该第二编码数据写入PNG数据块中,以生成图像文件。
需要说明的不是,根据第一编码数据的格式不同,第二编码数据写入的字段并不一定相同,只需将第二编码数据写入第一编码数据中不影响第一编码数据本身携带的信息的字段即可,在此不做具体限制。
如此,手机创建的图像文件中既包括第一图像的像素值,又包括未进行色调映射前的亮度信息,该亮度信息可以更好地反映第一图像的实际亮度情况,便于后续在显示第一图像的过程中对第一图像的亮度进行调整。
在一些实施例中,如图6所示,显示HDR图像的流程可以包括:
S301,响应于用户查看图像文件的操作,手机对图像文件进行解码得到亮度信息及第一图像的像素值。
S302,根据亮度信息确定亮度均值。
其中,该亮度均值为所有亮度值的平均值,用于反映第一图像的真实亮度水平。示例性的,若亮度信息的位宽为8bit,则将其数字化后,亮度值的范围在0~255之间。将每个亮度值数字化后取平均值,便可得到亮度均值。
S303,根据亮度均值,将第一图像划分为多个图像区域,多个图像区域至少包括第一区域和第二区域。
其中,第一区域为第一图像中的暗部区域,第二区域为第一图像中的高光区域。
在一种可选的实施方式中,手机可以将第一图像划分为两个图像区域,两个图像区域分别为第一区域和第二区域。
手机可以先根据亮度均值确定第一阈值,然后基于第一阈值将第一图像划分为第一区域和第二区域。其中,第一阈值大于等于亮度均值,且亮度均值越大则第一阈值越大。第一阈值可以与亮度均值呈线性或者非线性变化的关系,在此不做具体限制。手机可以将亮度值低于第一阈值的像素点划分至第一区域,将亮度值高于第二阈值的像素点划分至第二区域。如此,可使得第一区域包含第一图像中较暗区域的像素点,使第二区域包含第一图像中较亮区域的像素点。
示例性的,第一阈值可以为165。若根据亮度信息确定像素点1的亮度值为100。由于100<165,将该像素点1划分至第一区域。若根据亮度信息确定像素点2的亮度值为188。又由于188>165,将该像素点2划分至第二区域。
在另一种可选的实施方式中,手机可以将第一图像划分为第一区域、第二区域及第三区域。其中,第三区域为第一区域和第二区域的过渡区域。
手机可以根据亮度均值确定第二阈值和第三阈值,并基于第二阈值和第三阈值将第一图像划分为第一区域、第二区域和第三区域。其中,第二阈值小于亮度均值,第三阈值大于等于亮度均值,且亮度均值越大则第二阈值和第三阈值越大。第二阈值、第三阈值可以与亮度均值呈线性或者非线性变化的关系,在此不做具体限制。手机可以将亮度值低于第二阈值的像素点划分至第一区域,将亮度值大于等于第二阈值且小于第三阈值的像素点划分至第三区域,将亮度值大于等于第三阈值的像素点划分至第二区域。如此,第一区域即为第一图像中较暗的区域,第二区域即为第一图像中较亮的区域,第三区域为第一区域和第二区域的过大区域,亮度适中。
需要说明的是,上述仅仅示出了两种划分图像区域的方式,本申请实施例还可以使用更加精细的分区方法将第一图像划分为更多图像区域,在此不做具体限制。
S304,基于当前屏幕亮度及最大屏幕亮度确定目标屏幕亮度。
在本申请实施例中,为了使第一图像看起来更亮,可增大屏幕亮度。其中,最大屏幕亮度为手机屏幕所支持的最大亮度。在一种可选的实施方式中,手机可以先根据当前屏幕亮度确定第一亮度阈值。例如,手机可以将当前屏幕亮度的预设倍数作为第一亮度阈值。该预设倍数可以为大于1的任意数值,例如为3。然后,手机可以比较第一亮度阈值与最大屏幕亮度,若第一亮度阈值小于等于该最大屏幕亮度,则确定目标屏幕亮度为第一亮度阈值。若第一亮度阈值大于该最大屏幕亮度,则确定目标屏幕亮度为最大屏幕亮度。
在另一种可选的实施方式中,目标屏幕亮度可以固定为最大屏幕亮度。即不管当前屏幕亮度为多少,手机总是将最大屏幕亮度作为目标屏幕亮度。
S305,基于第一调整系数调整第一区域内的像素点的像素值,基于第二调整系数调整第二区域内的像素点的像素值,得到扩展图像,其中,第一调整系数小于1,第二调整系数大于等于1。
具体的,手机可以将第一调整系数与第一区域内所有像素点的像素值相乘,分别得到每个像素点对应的新像素值;以及将第二调整系数与第二区域内所有像素点的像素值相乘,分别得到每个像素点对应的新像素值。
其中,在手机通过比较第一亮度阈值和最大屏幕亮度的方式来确定目标屏幕亮度的情况下,若第一亮度阈值小于最大屏幕亮度,目标屏幕亮度为第一亮度阈值,该第一调整系数为当前屏幕亮度与第一亮度阈值的比值,即为预设倍数的倒数;若第一亮度阈值大于等于最大屏幕亮度,目标屏幕亮度为最大屏幕亮度,该第一调整系数为当前屏幕亮度与最大屏幕亮度的比值。在手机固定将最大屏幕亮度作为目标屏幕亮度的情况下,该第一调整系数为当前屏幕亮度与最大屏幕亮度的比值。可见,第一调整系数为当前屏幕亮度与目标屏幕亮度的比值。
其中,在第一调整系数Q1为预设倍数的倒数时,由于预设倍数大于1,可以得到Q1<1。此外,在第一调整系数Q1为当前屏幕亮度与最大屏幕亮度的比值时,以A Nits表征手机的当前屏幕亮度,以B Nits表征手机的最大屏幕亮度,可以得到第一调整系数Q1为A/B。
在另一种可选的实施方式中,该第二调整系数为变值,且与第二区域内每个像素点的亮度信息有关。具体的,每个像素点的第二调整系数与该像素点的亮度信息有关。具体的,可以将每个像素点的亮度信息的数值化得到亮度值,然后基于亮度值计算该像素点的第二调整系数。若第二区域包括N个像素点,则第i个像素点的第二调整系数满足算式:Q2i=1+Li/Lmax。其中,Q2i表示第i个像素点的第二调整系数,Li表示第i个像素点的亮度值,Lmax表示像素点的最大亮度值。示例性的,以亮度信息为8bit为例,亮度信息可数字化为0~255。若某个像素点的亮度值为C,则该像素点对应的第二调整系数Q2=1+C/255。
这种方法可使不同的像素值具有不同的第二调整系数,可以尽可能保留第二区域内不同像素点之间的明暗关系。
在一种可选的实施方式中,该第二调整系数可以为1。在第二调整系数为1时,第二区域内的像素点的像素值不变。
由于第一调整系数小于1,第一区域内每个像素点对应的新像素值小于该像素点对应的原始像素值。由于第二调整系数大于等于1,第二区域内每个像素点对应的新像素值大于等于该像素点对应的原始像素值。
S306,将手机的屏幕亮度调整为目标屏幕亮度,显示扩展图像。
在一种可选实施方式中,某个像素点的观测亮度与屏幕亮度的关系可以满足算式:Lg=Gray*Lp,其中,Lg为观测亮度,Lp为屏幕亮度,Gray为像素灰阶。某个像素点的观测亮度可以指示该像素点在显示屏上的明暗情况。像素点的像素灰阶与该像素点的像素值有关,其中,像素值越大,则像素灰阶越大。例如,像素灰阶与像素值可以满足算式:Gray=0.299R+0.587G+0.114B。
可以看出,在手机屏幕上显示图像时,手机的屏幕亮度和像素点的像素值都会影响该像素点在屏幕上的明暗情况。其中,在像素点的像素值一定的情况下,手机的屏幕亮度越大,则该像素点的观测亮度越大,即该像素点看起来越亮;在手机的屏幕亮度一定的情况下,像素点的像素值越大,则该像素点的观测亮度越大,即该像素点看起来越亮。反之,若在增大屏幕亮度的情况下,若要使某个像素点的观测亮度保持不变,则可以缩小该像素点的像素值。
可以理解地,本申请显示第一图像的过程实际上为:在增大手机的屏幕亮度的情况下,缩小第一图像上第一区域上像素点的像素值,以使第一图像上第一区域上像素点的观测亮度接近未调整屏幕亮度前的观测亮度;同时保持或增大第一图像上第二区域上像素点的像素值,以使第二图像上第二区域上像素点的观测亮度比未调整屏幕亮度前的观测亮度更大。换句话说,使第一图像上的第一区域的亮度不变,增大第一图像上的第二区域的亮度。
示例性的,以手机将屏幕亮度从当前屏幕亮度A调整为目标屏幕亮度C,第一调整系数为A/C,第二调整系数为1,说明显示第一图像的过程。手机可以先根据第一调整系数和第二调整系数生成扩展图像。在生成扩展图像的过程中,第一图像中第一区域上的像素点的像素值缩小了A/C倍,使得第一区域上像素点的像素灰阶缩小了A/C倍;第一图像中第二区域上的像素点的像素值不变。在手机将屏幕亮度从当前屏幕亮度A调整为目标屏幕亮度C时,第一图像上所有像素点的屏幕亮度均扩大C/A倍。可见,在显示第一图像后,第一区域上的像素点的观测亮度先缩小A/C倍,再扩大C/A倍,与其原本的观测亮度相同;第二区域上的像素点的观测亮度扩大C/A倍,高于其原本的观测亮度。这能增大第一图像上第一区域与第二区域的明暗对比度,扩大了第一图像的动态范围。
示例性的,第一图像可以如图7中(a)所示,第一图像701包括第一区域701a和第二区域701b。若手机不预先得到第一图像的扩展图像,直接增大屏幕亮度并显示第一图像,则可以得到如图7中的(b)所示的图像702,在图像702中,第一区域702a和第二区域702b的观测亮度均增大,但图像702的明暗对比度并未发生变化,与图像701的明暗对比度相同。而手机在得到第一图像的扩展图像后,再将屏幕亮度增大并显示该扩展图像,可以得到如图7中的(c)所示的图像703。可以看出,图像703中的第一区域703a的观测亮度与第一图像701中第一区域701a的观测亮度接近,图像703中的第二区域703b的观测亮度明显高于第一图像701中第二区域701b的观测亮度,相对于第一图像701而言,图像703中第一区域703a与第二区域703b具备更高的明暗对比度,图像703具备更大的动态范围。
需要说明的是,手机所显示的第一图像,可以是由其他终端设备创建后传输给该手机的,也可以是由手机自己创建的。也就是说,创建HDR图像的过程和显示HDR图像的过程,可以由同一个设备完成,也可以由不同的设备完成,在此不做具体限制。
综上所述,本申请通过在显示第一图像的过程中,通过增大手机的屏幕亮度,以增大每个像素点的观测亮度;同时通过降低第一区域内像素点的像素值,以降低第一区域内的像素点的观测亮度,以及增大或者保持第二区域内像素点的像素值,以增大或保持第二区域内的像素点的观测亮度,达到不改变第二区域内的像素点的观测亮度并增大第二区域内的像素点的观测亮度的效果。也就是说,在显示HDR图像的过程中,可使HDR图像中亮的区域更亮,暗的区域更暗或者保持不变,增大了HDR图像的明暗对比度,扩大了HDR图像的动态范围。
另外,本申请实施例提供的HDR图像的显示方法,可以自适应终端设备的屏幕所支持的亮度能力,能够充分利用终端设备的亮度能力。
本申请实施例还提供一种芯片系统,如图8所示,该芯片系统包括至少一个处理器801和至少一个接口电路802。处理器801和接口电路802可通过线路互联。例如,接口电路802可用于从其它装置(例如,终端设备的存储器)接收信号。又例如,接口电路802可用于向其它装置(例如处理器801)发送信号。
例如,接口电路802可读取,终端设备中存储器中存储的指令,并将该指令发送给处理器801。当所述指令被处理器801执行时,可使得电子设备(如图1中的手机)执行上述实施例中的各个步骤。
当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当所述计算机指令在电子设备(如图1中的手机)上运行时,使得电子设备执行上述方法实施例中电子设备执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行上述方法实施例中电子设备执行的各个功能或者步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (26)

1.一种终端设备,其特征在于,所述终端设备包括显示屏、存储器和一个或多个处理器,所述一个或多个处理器与所述存储器耦合;
其中,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;所述一个或多个处理器被配置为执行所述计算机指令时,执行以下操作:
响应于用户查看图像文件的操作,对所述图像文件进行解码操作,得到第一图像中每个像素点的像素值以及所述第一图像中每个像素点在目标曝光参数下的亮度信息;
根据每个所述像素点的亮度信息,将所述第一图像划分为对应所述第一图像中暗部区域的第一区域,以及对应所述第一图像中高亮区域的第二区域;
基于第一调整系数调整所述第一区域内的像素点的像素值,基于第二调整系数调整第二区域内的像素点的像素值,得到扩展图像,其中,所述第一调整系数小于1,所述第二调整系数大于等于1;
增大所述显示屏的屏幕亮度,显示所述扩展图像。
2.根据权利要求1所述的终端设备,其特征在于,所述一个或多个处理器还被配置为执行以下操作:
获得多个曝光参数下的多帧图像,所述多帧图像与所述多个曝光参数一一对应;
对所述多帧图像进行色调映射得到所述第一图像;
获取所述第一图像中每个像素点的像素值;
按照预设的像素点分组策略对所述第一图像中的像素点进行分组,获取每组像素点在所述目标曝光参数下的亮度信息,所述目标曝光参数为所述多个曝光参数中的一个曝光参数,或者为根据所述多个曝光参数中的至少两个曝光参数确定的参数;
对所述亮度信息及每个像素点的像素值分别进行编码操作,得到所述图像文件。
3.根据权利要求2所述的终端设备,其特征在于,所述一个或多个处理器还被配置为执行以下操作:
获取所述目标曝光参数对应的目标曝光图像,其中,若所述目标曝光参数为所述多个曝光参数中的第一参数,所述目标曝光图像为所述第一参数对应的图像帧;若所述目标曝光参数为根据所述多个曝光参数中的至少两个曝光参数确定的参数,所述目标曝光图像为所述至少两个曝光参数对应的图像帧融合得到的图像;
获取每组像素点中的每个像素点在所述目标曝光图像中的亮度值;
将每组像素点中所有像素点在所述目标曝光图像中的亮度值的均值作为该组像素点在所述目标曝光参数下的亮度信息。
4.根据权利要求3所述的终端设备,其特征在于,所述一个或多个处理器还被配置为执行以下操作:
对每个像素点的像素值进行编码操作得到第一编码数据;
对所述亮度信息进行编码操作得到第二编码数据;
将所述第二编码数据写入所述第一编码数据,得到所述图像文件。
5.根据权利要求1-4中任意一项所述的终端设备,其特征在于,所述第二区域包括M个像素点,所述第二调整系数包括M个子调整系数,所述M个像素点与所述M个子调整系数一一对应,所述一个或多个处理器还被配置为执行以下操作:
根据第j个像素点的亮度信息确定所述第j个像素点的亮度值,j≤M;
根据所述第j个像素点的亮度值计算所述第j个像素点的子调整系数,其中,所述第j个像素点的子调整系数与所述第j个像素点的亮度值呈正相关,所述第j个像素点的子调整系数大于1;
基于第j个像素点的子调整系数调整所述第j个像素点的像素值。
6.根据权利要求1-4中任意一项所述的终端设备,其特征在于,所述第二调整系数为1。
7.根据权利要求1-6中任意一项所述的终端设备,其特征在于,所述一个或多个处理器还被配置为执行以下操作:
根据每个所述像素点的亮度信息确定对应像素点的亮度值;
计算得到每个所述像素点的亮度值的亮度均值;
根据所述亮度均值确定第一阈值,所述第一阈值大于所述亮度均值,且所述第一阈值与所述亮度均值呈正相关;
若任意一个像素点的亮度值小于所述第一阈值,将所述任意一个像素点划分至所述第一区域;
若任意一个像素点的亮度值大于等于所述第一阈值,将所述任意一个像素点划分至所述第二区域。
8.根据权利要求1-6中任意一项所述的终端设备,其特征在于,所述多个图像区域还包括第三区域,所述一个或多个处理器还被配置为执行以下操作:
根据每个所述像素点的亮度信息确定对应像素点的亮度值;
计算得到每个所述像素点的亮度值的亮度均值;
根据所述亮度均值确定第二阈值和第三阈值,所述第二阈值小于亮度均值,所述第三阈值大于所述亮度均值,且所述第二阈值、所述第三阈值与所述亮度均值呈正相关;
若任意一个像素点的亮度值小于所述第二阈值,将所述任意一个像素点划分至所述第一区域;
若任意一个像素点的亮度值大于等于所述第二阈值,且小于所述第三阈值,将所述任意一个像素点划分至所述第三区域;
若任意一个像素点的亮度值大于等于所述第三阈值,将所述任意一个像素点划分至所述第二区域。
9.根据权利要求1-6中任意一项所述的终端设备,其特征在于,所述第一调整系数为当前屏幕亮度与目标屏幕亮度的比值,所述当前屏幕亮度为所述显示屏调整屏幕亮度前的屏幕亮度,所述目标屏幕亮度为显示屏调整屏幕亮度后的屏幕亮度。
10.根据权利要求9所述的终端设备,其特征在于,所述目标屏幕亮度为所述最大屏幕亮度。
11.根据权利要求9所述的终端设备,其特征在于,所述目标屏幕亮度为所述最大屏幕亮度与第一亮度阈值中的较大值,所述第一亮度阈值为所述当前屏幕亮度与预设倍数的乘积。
12.一种终端设备,其特征在于,所述终端设备包括显示屏、存储器和一个或多个处理器,所述一个或多个处理器与所述存储器耦合;
其中,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;所述一个或多个处理器被配置为执行所述计算机指令时,执行以下操作:
获得多个曝光参数下的多帧图像,所述多帧图像与所述多个曝光参数一一对应;
对所述多帧图像进行色调映射得到第一图像;
获取所述第一图像中每个像素点的像素值;
按照预设的像素点分组策略对所述第一图像中的像素点进行分组,获取每组像素点在所述目标曝光参数下的亮度信息,所述目标曝光参数为所述多个曝光参数中的一个曝光参数,或者为根据所述多个曝光参数中的至少两个曝光参数确定的参数;
对所述亮度信息及每个像素点的像素值分别进行编码操作,得到图像文件,所述图像文件中还包括进行色调映射前的亮度信息。
13.根据权利要求12所述的终端设备,其特征在于,所述一个或多个处理器还被配置为执行以下操作:
获取所述目标曝光参数对应的目标曝光图像,其中,若所述目标曝光参数为所述多个曝光参数中的第一参数,所述目标曝光图像为所述第一参数对应的图像帧;若所述目标曝光参数为根据所述多个曝光参数中的至少两个曝光参数确定的参数,所述目标曝光图像为所述至少两个曝光参数对应的图像帧融合得到的图像;
获取每组像素点中的每个像素点在所述目标曝光图像中的亮度值;
将每组像素点中所有像素点在所述目标曝光图像中的亮度值的均值作为该组像素点在所述目标曝光参数下的亮度信息。
14.根据权利要求12所述的终端设备,其特征在于,所述一个或多个处理器还被配置为执行以下操作:
对每个像素点的像素值进行编码操作得到第一编码数据;
对所述亮度信息进行编码操作得到第二编码数据;
将所述第二编码数据写入所述第一编码数据,得到所述图像文件。
15.一种创建HDR图像的方法,其特征在于,应用于终端设备,所述方法包括:
获得多个曝光参数下的多帧图像,所述多帧图像与所述多个曝光参数一一对应;
对所述多帧图像进行色调映射得到第一图像;
获取所述第一图像中每个像素点的像素值;
按照预设的像素点分组策略对所述第一图像中的像素点进行分组,获取每组像素点在所述目标曝光参数下的亮度信息,所述目标曝光参数为所述多个曝光参数中的一个曝光参数,或者为根据所述多个曝光参数中的至少两个曝光参数确定的参数;
对所述亮度信息及每个像素点的像素值分别进行编码操作,得到图像文件,所述图像文件中还包括进行色调映射前的亮度信息。
16.根据权利要求15所述的方法,其特征在于,所述获取每组像素点在所述目标曝光参数下的亮度信息包括:
获取所述目标曝光参数对应的目标曝光图像,其中,若所述目标曝光参数为所述多个曝光参数中的第一参数,所述目标曝光图像为所述第一参数对应的图像帧;若所述目标曝光参数为根据所述多个曝光参数中的至少两个曝光参数确定的参数,所述目标曝光图像为所述至少两个曝光参数对应的图像帧融合得到的图像;
获取每组像素点中的每个像素点在所述目标曝光图像中的亮度值;
将每组像素点中所有像素点在所述目标曝光图像中的亮度值的均值作为该组像素点在所述目标曝光参数下的亮度信息。
17.根据权利要求15所述的方法,其特征在于,所述对所述亮度信息及每个像素点的像素值分别进行编码操作,得到图像文件包括:
对每个像素点的像素值进行编码操作得到第一编码数据;
对所述亮度信息进行编码操作得到第二编码数据;
将所述第二编码数据写入所述第一编码数据,得到所述图像文件。
18.一种显示HDR图像的方法,其特征在于,应用于终端设备,所述方法包括:
响应于用户查看图像文件的操作,对所述图像文件进行解码操作,得到第一图像中每个像素点的像素值以及所述第一图像中每个像素点在目标曝光参数下的亮度信息;
根据每个所述像素点的亮度信息,将所述第一图像划分为对应所述第一图像中暗部区域的第一区域,以及对应所述第一图像中高亮区域的第二区域;
基于第一调整系数调整所述第一区域内的像素点的像素值,基于第二调整系数调整第二区域内的像素点的像素值,得到扩展图像,其中,所述第一调整系数小于1,所述第二调整系数大于等于1;
增大所述显示屏的屏幕亮度,显示所述扩展图像。
19.根据权利要求18中所述的方法,其特征在于,所述第二区域包括M个像素点,所述第二调整系数包括M个子调整系数,所述M个像素点与所述M个子调整系数一一对应,所述基于第二调整系数调整第二区域内的像素点的像素值包括:
根据第j个像素点的亮度信息确定所述第j个像素点的亮度值,j≤M;
根据所述第j个像素点的亮度值计算所述第j个像素点的子调整系数,其中,所述第j个像素点的子调整系数与所述第j个像素点的亮度值呈正相关,所述第j个像素点的子调整系数大于1;
基于第j个像素点的子调整系数调整所述第j个像素点的像素值。
20.根据权利要求18所述的方法,其特征在于,所述第二调整系数为1。
21.根据权利要求18-20中任意一项所述的方法,其特征在于,所述根据每个所述像素点的亮度信息,将所述第一图像划分为多个图像区域包括:
根据每个所述像素点的亮度信息确定对应像素点的亮度值;
计算得到每个所述像素点的亮度值的亮度均值;
根据所述亮度均值确定第一阈值,所述第一阈值大于所述亮度均值,且所述第一阈值与所述亮度均值呈正相关;
若任意一个像素点的亮度值小于所述第一阈值,将所述任意一个像素点划分至所述第一区域;
若任意一个像素点的亮度值大于等于所述第一阈值,将所述任意一个像素点划分至所述第二区域。
22.根据权利要求18-20中任意一项所述的方法,其特征在于,所述多个图像区域还包括第三区域,所述根据每个所述像素点的亮度信息,将所述第一图像划分为多个图像区域包括:
根据每个所述像素点的亮度信息确定对应像素点的亮度值;
计算得到每个所述像素点的亮度值的亮度均值;
根据所述亮度均值确定第二阈值和第三阈值,所述第二阈值小于亮度均值,所述第三阈值大于所述亮度均值,且所述第二阈值、所述第三阈值与所述亮度均值呈正相关;
若任意一个像素点的亮度值小于所述第二阈值,将所述任意一个像素点划分至所述第一区域;
若任意一个像素点的亮度值大于等于所述第二阈值,且小于所述第三阈值,将所述任意一个像素点划分至所述第三区域;
若任意一个像素点的亮度值大于等于所述第三阈值,将所述任意一个像素点划分至所述第二区域。
23.根据权利要求18-20中任意一项所述的方法,其特征在于,所述第一调整系数为当前屏幕亮度与目标屏幕亮度的比值,所述当前屏幕亮度为所述显示屏调整屏幕亮度前的屏幕亮度,所述目标屏幕亮度为显示屏调整屏幕亮度后的屏幕亮度。
24.根据权利要求23所述的方法,其特征在于,所述目标屏幕亮度为所述最大屏幕亮度。
25.根据权利要求23所述的方法,其特征在于,所述目标屏幕亮度为所述最大屏幕亮度与第一亮度阈值中的较大值,所述第一亮度阈值为所述当前屏幕亮度与预设倍数的乘积。
26.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在终端上运行时,使得所述终端执行如权利要求15-25中任一项所述的方法。
CN202310012648.XA 2022-06-15 2022-06-15 终端设备及创建/显示hdr图像的方法 Pending CN117241145A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310012648.XA CN117241145A (zh) 2022-06-15 2022-06-15 终端设备及创建/显示hdr图像的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202310012648.XA CN117241145A (zh) 2022-06-15 2022-06-15 终端设备及创建/显示hdr图像的方法
CN202210675917.6A CN116095503A (zh) 2022-06-15 2022-06-15 终端设备及创建/显示hdr图像的方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202210675917.6A Division CN116095503A (zh) 2022-06-15 2022-06-15 终端设备及创建/显示hdr图像的方法

Publications (1)

Publication Number Publication Date
CN117241145A true CN117241145A (zh) 2023-12-15

Family

ID=86199696

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202410531178.2A Pending CN118590766A (zh) 2022-06-15 2022-06-15 终端设备及创建/显示hdr图像的方法
CN202210675917.6A Pending CN116095503A (zh) 2022-06-15 2022-06-15 终端设备及创建/显示hdr图像的方法
CN202310012648.XA Pending CN117241145A (zh) 2022-06-15 2022-06-15 终端设备及创建/显示hdr图像的方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202410531178.2A Pending CN118590766A (zh) 2022-06-15 2022-06-15 终端设备及创建/显示hdr图像的方法
CN202210675917.6A Pending CN116095503A (zh) 2022-06-15 2022-06-15 终端设备及创建/显示hdr图像的方法

Country Status (1)

Country Link
CN (3) CN118590766A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120268350A1 (en) * 2011-04-20 2012-10-25 Sharp Kabushiki Kaisha Liquid crystal display device, multi-display device, method for determining light intensity, and storage medium
CN110177221A (zh) * 2019-06-25 2019-08-27 维沃移动通信有限公司 高动态范围图像的拍摄方法及装置
CN112164007A (zh) * 2020-09-29 2021-01-01 Oppo广东移动通信有限公司 图像显示方法和装置、终端和可读存储介质
CN114257750A (zh) * 2020-09-23 2022-03-29 苹果公司 向后兼容的高动态范围(hdr)图像
CN114286172A (zh) * 2021-08-23 2022-04-05 腾讯科技(深圳)有限公司 数据处理方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102497490B (zh) * 2011-12-16 2014-08-13 上海富瀚微电子有限公司 实现图像高动态范围压缩的系统及其方法
CN104427254B (zh) * 2013-09-10 2019-01-15 联想(北京)有限公司 感光控制方法及感光控制装置
CN103702116B (zh) * 2013-12-06 2017-07-14 浙江宇视科技有限公司 一种图像的宽动态压缩方法和装置
CN104853106B (zh) * 2014-02-19 2019-11-26 联想(北京)有限公司 一种信息处理方法和电子设备
CN104881644A (zh) * 2015-05-25 2015-09-02 华南理工大学 非均匀光照条件下的人脸图像采集方法
CN105163039A (zh) * 2015-09-18 2015-12-16 联想(北京)有限公司 一种控制方法及装置
US10643358B2 (en) * 2017-04-24 2020-05-05 Intel Corporation HDR enhancement with temporal multiplex
US11049228B2 (en) * 2019-07-25 2021-06-29 Microsoft Technology Licensing, Llc Controlling display brightness when rendering composed scene-referred and output-referred content
CN112449120B (zh) * 2019-08-30 2022-06-10 华为技术有限公司 高动态范围视频生成方法及装置
CN112750086B (zh) * 2020-08-31 2024-10-15 腾讯科技(深圳)有限公司 一种图像处理方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120268350A1 (en) * 2011-04-20 2012-10-25 Sharp Kabushiki Kaisha Liquid crystal display device, multi-display device, method for determining light intensity, and storage medium
CN110177221A (zh) * 2019-06-25 2019-08-27 维沃移动通信有限公司 高动态范围图像的拍摄方法及装置
CN114257750A (zh) * 2020-09-23 2022-03-29 苹果公司 向后兼容的高动态范围(hdr)图像
CN112164007A (zh) * 2020-09-29 2021-01-01 Oppo广东移动通信有限公司 图像显示方法和装置、终端和可读存储介质
CN114286172A (zh) * 2021-08-23 2022-04-05 腾讯科技(深圳)有限公司 数据处理方法及装置

Also Published As

Publication number Publication date
CN116095503A (zh) 2023-05-09
CN118590766A (zh) 2024-09-03

Similar Documents

Publication Publication Date Title
CN111179282B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN113810600B (zh) 终端的图像处理方法、装置和终端设备
WO2021077878A1 (zh) 图像处理方法、装置及电子设备
CN110602403A (zh) 一种暗光下拍照的方法及电子设备
CN115526787B (zh) 视频处理方法和装置
CN112700377A (zh) 图像泛光处理方法及装置、存储介质
CN114463191A (zh) 一种图像处理方法及电子设备
CN115631250B (zh) 图像处理方法与电子设备
CN115564659A (zh) 视频处理方法和装置
CN115460343B (zh) 图像处理方法、设备及存储介质
CN116668862B (zh) 图像处理方法与电子设备
US20240251180A1 (en) Image processing method and electronic device
EP4156168A1 (en) Image processing method and electronic device
CN113810622B (zh) 一种图像处理方法及设备
CN117241145A (zh) 终端设备及创建/显示hdr图像的方法
CN117440194A (zh) 一种投屏画面的处理方法及相关装置
CN117593236A (zh) 图像的显示方法、装置和终端设备
CN111294905B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
WO2024148968A9 (zh) 一种图像预览方法及终端设备
CN115706869A (zh) 终端的图像处理方法、装置和终端设备
CN117135468B (zh) 图像处理方法及电子设备
CN117711300B (zh) 一种图像的显示方法、电子设备、可读存储介质和芯片
CN116668838B (zh) 图像处理方法与电子设备
CN115701129B (zh) 一种图像处理方法及电子设备
CN116452437B (zh) 高动态范围图像处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination