CN112750086A

CN112750086A - 一种图像处理方法、装置、电子设备及存储介质

Info

Publication number: CN112750086A
Application number: CN202010900222.4A
Authority: CN
Inventors: 刘军煜
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2020-08-31
Filing date: 2020-08-31
Publication date: 2021-05-04

Abstract

本申请提供一种图像处理方法、装置、电子设备及存储介质，对待播放视频的图像进行HDR处理生成HDR图像以提高图像的对比度，获取HDR图像中表征HDR图像的标准亮度的第一像素，基于第一像素的亮度信息对HDR图像中除第一像素以外的第二像素的亮度信息进行非线性自适应调整生成目标HDR图像，来降低因HDR处理导致HDR图像中黑暗区域更黑暗、明亮区域更明亮，对HDR图像的显示效果造成的影响。

Description

一种图像处理方法、装置、电子设备及存储介质

技术领域

本发明涉及视频处理技术领域，更具体地说，涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着宽带网络和显示技术的不断发展，人们对视频画面的质量有了更高的期望。与普通视频相比，利用HDR(High-Dynamic Range，高动态范围)技术对普通视频进行处理生成的HDR视频可大幅度拓展视频中图像的对比度，从而能够更好的反映真实环境，提高视觉体验。

现有的HDR技术虽然能够大幅度拓展视频中图像对比度和色彩，但是对于图像中的黑暗区域，利用HDR技术得到的图像中黑暗区域会更加暗，更加看不到图像中黑暗区域的图像细节；而对于图像中的明亮区域，利用HDR技术得到的图像中明亮区域会更加明亮，可能会造成图像中明亮区域曝光过度的情况，影响图像显示效果。

发明内容

有鉴于此，本申请提供一种图像处理方法、装置、电子设备及存储介质，以在提高图像对比度的同时，实现对图像亮度的自适应调整，提升图像显示效果。技术方案如下：

一种图像处理方法，包括：

确定对待播放视频中的图像进行高动态范围HDR处理生成的HDR图像；

从所述HDR图像的所有像素中确定亮度信息表征所述HDR图像的标准亮度的第一像素；

比较所述HDR图像中第二像素的亮度信息和所述第一像素的亮度信息确定所述第二像素的亮度调整信息，所述第二像素不同于所述第一像素；

以趋近于所述第一像素的亮度信息为目标利用所述第二像素的亮度调整信息对所述第二像素的亮度信息进行非线性处理得到所述第二像素的目标亮度信息；

基于所述HDR图像中所述第二像素的目标亮度信息生成用于进行视频播放的目标HDR图像。

一种图像处理装置，包括：

HDR处理单元，用于确定对待播放视频中的图像进行高动态范围HDR处理生成的HDR图像；

第一像素确定单元，用于从所述HDR图像的所有像素中确定亮度信息表征所述HDR图像的标准亮度的第一像素；

亮度调整信息确定单元，用于比较所述HDR图像中第二像素的亮度信息和所述第一像素的亮度信息确定所述第二像素的亮度调整信息，所述第二像素不同于所述第一像素；

亮度调整单元，用于以趋近于所述第一像素的亮度信息为目标利用所述第二像素的亮度调整信息对所述第二像素的亮度信息进行非线性处理得到所述第二像素的目标亮度信息；

目标HDR图像生成单元，用于基于所述HDR图像中所述第二像素的目标亮度信息生成用于进行视频播放的目标HDR图像。

一种电子设备，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现所述图像处理方法。

一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行所述图像处理方法。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种图像处理系统的结构示意图；

图2为本申请实施例提供的一种视频播放示意图；

图3为本申请实施例提供的另一种视频播放示意图；

图4为本申请实施例提供的又一种视频播放示意图；

图5为本申请实施例提供的一种图像处理方法流程图；

图6为本申请实施例提供的一种对图像进行HDR处理生成HDR图像的方法流程图；

图7为本申请实施例提供的一种图像处理效果示意图；

图8为本申请实施例提供的一种黑暗场景图像处理效果示意图；

图9为本申请实施例提供的另一种黑暗场景图像处理效果示意图；

图10为本申请实施例提供的一种图像处理装置结构示意图；

图11为本申请实施例提供的一种图像处理方法所适用于的终端的硬件结构框图；

图12为本申请实施例提供的一种图像处理方法所适用于的服务器的硬件结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

标准范围(Standard-Dynamic Range，简称SDR)，也可称为标准范围图像。高动态范围(High-Dynamic Range，简称HDR)，也可称为高动态范围图像成像。现有的HDR技术相对于传统的SDR技术而言，能够大幅度拓展视频中图像的对比度和色彩，从而使得视频能够更好的反应真实环境，提高用户的视觉体验。

现有的HDR技术虽然可以提升图像的对比度，但是对于图像中的黑暗场景(黑暗区域)，利用HDR技术处理图像后，图像中的黑暗场景会更加黑暗，更加看不到黑暗场景中的图像的细节；而对于图像中的明亮场景(明亮区域)，利用HDR技术处理图像后，图像中的明亮场景会更加明亮，可能会造成曝光过度的情况。然而，不论是图像中黑暗区域更加黑暗还是图像中明亮区域更加明亮，均会影响图像的显示效果，在一定程度上降低用户的视觉体验。

本申请实施例提供一种图像处理方法、装置、服务器及存储介质，不仅可以对待显示视频中的图像进行HDR处理生成HDR图像，以提高图像的对比度，还可以进一步对HDR图像的亮度进行自适应调整，以解决经HDR技术处理后的图像中黑暗区域更黑暗、明亮区域更明亮，对图像显示效果造成影响的问题。需要说明的是，经由HDR技术处理后的图像可以称为HDR图像。

本申请实施例提供的一种图像处理方法应用于视频播放系统，具体请参见图1。如图1所示，视频播放系统由终端和服务器构成，终端提供视频应用，服务器为终端上的视频应用提供服务支持。

本申请实施例中，视频应用提供至少一种视频播放模式，至少一种视频播放模式包括270P(标清)、480P(高清)、720P(超清)、1080P(蓝光)、HDR等。

用户选取视频应用提供的至少一种视频播放模式中的“HDR”模式，可以采用本申请实施例提供的一种图像处理方法对待播放视频中的图像进行处理生成目标HDR图像，进而由视频应用对目标HDR图像进行渲染实现HDR模式下的视频播放。

以上仅仅是本申请实施例提供的视频播放模式的优选内容，有关视频播放模式的具体内容，发明人可根据自己的需求进行设置，在此不做限定。

参见图2，视频应用当前是以720P(高清)视频播放模式进行的视频播放，若用户想要切换成其他视频播放模式，可以点击图2中的“720P(高清)”按钮，这时，视频应用分别显示至少一种视频播放模式中每个视频播放模式对应的按钮，具体请参见图3；用户在点击“HDR”按钮后，可以开启HDR功能，以HDR视频播放模式进行视频播放，实现视频的HDR显示效果，具体请参见图4。

用户在开启HDR功能后，本申请实施例提供的一种图像处理方法对待播放视频进行处理以生成待播放视频中每帧图像的目标HDR图像，进而通过对待播放视频中每帧图像的目标HDR图像的渲染进行视频播放，实现HDR播放效果。

本申请实施例提供的一种图像处理方法不仅提出了一种新的HDR算法(具体请参见图6)，而且还提出了一种对HDR图像进行亮度自适应调整的方法。有关本申请实施例提供的图像处理方法的具体实现方式请参见图5，在此不做详细介绍。

本申请发明人在提出对HDR图像的亮度进行自适应调整的方案时，首先想到了可以采用对HDR图像的像素亮度进行线性处理的方式，实现对HDR图像中像素亮度的自适应调整。比如，可以确定HDR图像的所有像素中表征HDR图像的标准亮度的第一像素，进而针对HDR图像中亮度值大于第一像素的亮度值的第二像素，将第二像素的亮度值乘以第一数值得到第二像素的目标亮度值，第一数值为小于1，这样可以降低第二像素的亮度值；针对HDR图像中亮度值小于第一像素的亮度值的第二像素，将第二像素的亮度值乘以第二数值得到第二像素的目标亮度值，第二数值大于1，这样可以提高第二像素的亮度值。

然而发明人通过研究发现，这种方式虽然能够实现对HDR图像中像素亮度的调整，但是调整效果并不是很理想。由此，本申请发明人进一步对其进行改进，提出一种对HDR图像中像素亮度进行非线性调整的方式，有关本申请发明人提出的对HDR图像中像素亮度进行非线性调整的具体实现方式，请参见下文对图像处理方法的详细描述，在此不做介绍。

本申请实施例提供的一种图像处理方法既可以适用于终端，也可以适用于服务器。本申请实施例中，为了提高计算速度，节约终端计算力，优选由服务器执行本申请实施例提供的图像处理方法。下面从服务器执行本申请实施例提供的一种图像处理方法的角度进行详细说明。图5为本申请实施例提供的一种图像处理方法流程图。

如图5所示，该方法包括：

S501、确定对待播放视频中的图像进行高动态范围HDR处理生成的HDR图像；

在用户点击终端上的视频应用中的HDR按钮后，终端将HDR视频播放请求发送到服务器，服务器响应HDR视频播放请求，对待播放视频中图像进行图像处理生成目标HDR图像，并将目标HDR图像返回给终端，由终端对目标HDR图像进行渲染以实现HDR视频播放的目的。HDR视频播放请求用于请求以HDR模式进行视频播放。

服务器接收HDR视频播放请求，确定待播放视频后，对待播放视频进行解码抽帧得到待播放视频中的图像，按照待播放视频中图像播放顺序依次对待播放视频中每帧图像进行如下处理：对图像进行HDR处理生成HDR图像，对HDR图像进行亮度自适应调整得到目标HDR图像。相应的，服务器将待播放视频中每帧图像的目标HDR图像返回给终端，由终端上的视频应用渲染目标HDR图像实现HDR模式的视频播放。

本申请实施例，可以采用本申请发明人提出的新的HDR算法实现对图像的HDR处理以生成目标HDR图像，基于该新的HDR算法可以有效提升图像对比度，增强图像显示效果。有关新的HDR算法的实现方式请参见图6的详细描述，在此不做赘述。

S502、从HDR图像的所有像素中确定亮度信息表征HDR图像的标准亮度的第一像素；

对待播放视频中的图像进行HDR处理生成的HDR图像为RGB图像，将HDR图像从RGB图像转换成YUV图像。

将RGB图像转为YUV图像的方式请参见公式一，公式一如下：

Y＝0.299×R+0.587×G+0.114×B

U＝-0.147×R-0.289×G+0.436×B

V＝0.615×R-0.515×G-0.100×B

将HDR图像从RGB图像转换成YUV图像的方式可以为分别HDR图像中每个像素的RGB信息通过公式一转换成YUV信息。以一个像素的YUV信息为例，该像素的YUV信息包括该像素在Y通道的通道值，在U通道的通道值，以及在V通道的通道值；其中，该像素在Y通道的通道值可以认为是该像素的亮度值，也可以称为该像素的亮度信息。

将HDR图像从RGB图像转换成YUV图像，获取YUV图像中每个像素的亮度值，对YUV图像中所有像素按照亮度值依次排序生成像素序列，像素序列中相邻两个像素的亮度值满足预先设置的排序规则。

比如，若排序规则为第一排序规则，第一排序规则指示从大到小排序时，对YUV图像中所有像素按照亮度值从大到小的顺序进行排序生成像素序列。若排序规则为第二排序规则，第二排序规则指示从小到大排序时，对YUV图像中所有像素按照亮度值从小到大的顺序进行排序生成像素序列。

本申请实施例，预先设置有分别与每种排序规则匹配的选取规则，不同的排序规则所匹配的选取规则不同。比如，若排序规则为第一排序规则，与第一排序规则匹配的选取规则可以为第一选取规则；若排序规则为第二排序规则，与第二排序规则匹配的选取规则可以为第二选取规则。

以第一排序规则为例，对YUV图像中所有像素按照像素值从大到小的顺序排序生成像素序列，确定第一选取规则指示的像素序列中的目标位置，将像素序列中目标位置处的像素确定为第一像素。

作为本申请实施例的一种优选实施方式，可以确定像素序列中像素数量和第一选取规则指示的第一比例的乘积，将乘积结果确定为像素序列中目标位置处的像素在像素序列中的排序序号。比如，若像素序列中一共有100个像素，第一选取规则指示的第一比例为5％，100×5％＝5，则像素序列中目标位置处的像素在像素序列中的排序序号为5，将像素序列中第5个像素确定为第一像素。

以第二排序规则为例，对YUV图像中所有像素按照像素值从小到大的顺序排序生成像素序列，确定第二选取规则指示的像素序列中的目标位置，将像素序列中目标位置处的像素确定为第一像素。

作为本申请实施例的一种优选实施方式，可以确定像素序列中像素数量和第二选取规则指示的第二比例的乘积，将乘积结果确定为像素序列中目标位置处的像素在像素序列中的排序序号。比如，若像素序列中一共有100个像素，第二选取规则指示的第二比例为95％，100×95％＝95，则像素序列中目标位置处的像素在像素序列中的排序序号为95，将像素序列中第95个像素确定为第一像素。

可以了解的是，乘积结果可能不是整数，此时可对乘积结果进行四舍五入得到目标乘积结果，进而将目标乘积结果确定为像素序列中目标位置处的像素在像素序列中的排序序号。

本申请实施例，第一像素的亮度值可以表征HDR图像的标准亮度，基于第一像素的亮度值可以实现对HDR图像中其他像素(第二像素)的亮度值的自适应调整。

需要说明的是，HDR图像的标准亮度并未以HDR图像中像素的最高亮度值为准，而是以接近于最高亮度值，而未达到最高亮度值的第一像素的亮度值为准。这样，可以避免因HDR图像中像素的最高亮度值已经很高，再基于该最高亮度值对HDR图像中其他像素的亮度值进行调整导致HDR图像中其他像素的亮度值也变的很高，影响最终调整效果的问题。

S503、比较HDR图像中第二像素的亮度信息和第一像素的亮度信息确定第二像素的亮度调整信息，第二像素不同于第一像素；

分别对HDR图像中除第一像素以外的每个像素(为了便于区分，可以将HDR图像中除第一像素以外的每个像素称为一个第二像素)执行如下过程：比较该第二像素的亮度值和第一像素的亮度值确定该第二像素的比较结果；如果该第二像素的比较结果表征该第二像素的亮度值小于第一像素的亮度值，则确定利用第一像素的亮度值生成的第一亮度调整信息为该第二像素的亮度调整信息；如果该第二像素的比较结果表征该第二像素的亮度值大于第一像素的亮度值，则将预先设置的第二亮度调整信息确定为该第二像素的亮度调整信息。

以第二像素的亮度调整信息用gamma表示为例，若第二像素的比较结果表征第二像素的亮度值大于第一像素的亮度值，则获取预先设置的亮度调整信息(为例便于区分，将预先设置的亮度调整信息称为第二亮度调整信息)，并将第二亮度调整信息确定为第二像素的亮度调整信息。

本申请实施例中，预先设置的第二亮度调整信息可以为1.2，即，若第二像素的比较结果表征第二像素的亮度值大于第一像素的亮度值，第二像素的亮度调整信息gamma＝1.2。

以上仅仅是本申请实施例提供的第二亮度调整信息的优选内容，有关第二亮度调整信息的具体内容发明人可根据自己的需求进行设置，在此不做限定。但是，需要注意的是，为了保证亮度调整效果，预先设置的第二亮度调整信息的数值需要大于1。

仍以第二像素的亮度调整信息用gamma表示为例，若第二像素的比较结果表征第二像素的亮度值小于第一像素的亮度值，则确定利用第一像素的亮度值生成的亮度调整信息(为了便于区分，将利用第一像素的亮度值生成的亮度调整信息称为第一亮度调整信息)，并将第一亮度调整信息确定为第二像素的亮度调整信息。

利用第一像素的亮度值生成第一亮度调整信息的方式可参见公式二。具体的公式二如下：

gamma＝1-β*(255-y_max)/255，其中，β大于0，y_max为第一像素的亮度值，y_max的范围在[0，255]区间内。

本申请实施例中，β＝0.45，以上仅仅是本申请实施例提供的β的优选数值，有关β的具体数值发明人可根据自己的需求进行设置在此不做限定。

需要说明的是，利用第一像素的亮度值生成的第一亮度调整信息的数值大于0且小于1。即，若第二像素的比较结果表征第二像素的亮度值小于第一像素的亮度值，第二像素的亮度调整信息0<gamma<1。

进一步的，若第二像素的比较结果表征第二像素的亮度值等于第一像素的亮度值，则获取预先设置的第三亮度调整信息，并将预先设置的第三亮度调整信息确定为第二像素的亮度调整信息。本申请实施例中，第三亮度调整信息的数值等于1。即，若第二像素的比较结果表征第二像素的亮度值等于第一像素的亮度值，则第二像素的亮度调整信息gamma＝1。

S504、以趋近于所述第一像素的亮度信息为目标利用所述第二像素的亮度调整信息对所述第二像素的亮度信息进行非线性处理得到所述第二像素的目标亮度信息；

本申请实施例，可以对第二像素的亮度值归一化处理生成第二像素的第一亮度值；以趋近于第一像素的亮度值为目标基于第二像素的亮度调整信息对第二像素的第一亮度值进行非线性处理生成第二像素的第二亮度值；对第二像素的第二亮度值进行返归一化处理生成第二像素的第三亮度值；进而结合第二像素的比较结果利用第二像素的第三亮度值确定第二像素的目标亮度信息。

参见公式三，以趋近于第一像素的亮度信息为目标利用第二像素的亮度调整信息处理第二像素的亮度信息得到第二像素的第三亮度值的方式如下：

其中，Y为第二像素的亮度值，Y′为第二像素的第三亮度值。

参见公式三，可以将

认为是对第二像素的亮度值归一化处理生成第二像素的第一亮度值的过程。其中，第二像素的第一亮度值为

并且，可以将

认为是以趋近于第一像素的亮度值为目标基于第二像素的亮度调整信息对第二像素的第一亮度值进行非线性处理生成第二像素的第二亮度值的过程。其中，第二像素的第二亮度值为

进一步的，可以将

认为是对第二像素的第二亮度值

进行返归一化处理生成第二像素的第三亮度值Y′的过程。其中，第二像素的第三亮度值Y′为

在确定第二像素的第三亮度值后，需要进一步结合第二像素的比较结果和第二像素的第三亮度值确定第二像素的目标亮度信息。

本申请实施例中，结合第二像素的比较结果利用第二像素的第三亮度值确定第二像素的目标亮度信息的方式可以为：如果第二像素的比较结果表征第二像素的亮度值小于第一像素的亮度值，将第二像素的第三亮度值确定为第二像素的目标亮度信息。反之，如果第二像素的比较结果表征第二像素的亮度值大于第一像素的亮度值，需要判断第二像素的第三亮度值是否小于第一像素的亮度值；若第二像素的第三亮度值小于第一像素的亮度值，将第一像素的亮度值确定为第二像素的目标亮度信息；若第二像素的第三亮度值不小于第一像素的亮度值，将第二像素的第三亮度值确定为第二像素的目标亮度信息。

在第二像素的比较结果表征第二像素的亮度值大于第一像素的亮度值的情况下，基于公式三可以降低第二像素的亮度值得到第二像素的第三亮度值，为了防止第二像素的亮度值降低的过多，可以将第二像素的第三亮度值和第一像素的亮度值进行比较，判断第二像素的第三亮度值是否低于第一像素的亮度值，如果第二像素的第三亮度值低于第一像素的亮度值，则将第一像素的亮度值确定为第二像素的目标亮度值；反之，如果第二像素的第三亮度值不低于第一像素的亮度值，则将第二像素的第三亮度值确定为第二像素的目标像素值。

在第二像素的比较结果表征第二像素的亮度值小于第一像素的亮度值的情况下，由于β值大于0，y_max的范围在[0，255]区间内，gamma的值大于0小于1，此时Y的值会比原先提高。本申请实施例提供的图像处理方法，在第二像素的比较结果表征第二像素的亮度值小于第一像素的亮度值的情况下，对于暗部区域亮度提高更大，对于亮部区域提高少一点。

在第二像素的比较结果表征第二像素的亮度值大于第一像素的亮度值的情况下，由于gamma的值大于1，此时Y的值会比原先降低。

在第二像素的比较结果表征第二像素的亮度值等于第一像素的亮度值的情况下，由于gamma的值等于1，此时Y的值不变。

本申请实施例提供的一种图像处理方法，可以实现对图像中亮度的自适应调整，尤其，当整个HDR图像都比较暗时，y_max会比较小，从而gamma值较大，Y提高的会比较多；而当HDR图像是比较明亮的图像时，y_max的值接近于255，此时gamma的值会趋于1，图像基本没有变化。

S505、基于HDR图像中第二像素的目标亮度信息生成用于进行视频播放的目标HDR图像。

本申请实施例中，HDR图像转换成的YUV图像中UV通道不变，合成Y′UV图像，再将Y′UV图像转换成RGB图像得到待渲染的目标HDR图像，该目标HDR图像用于进行渲染以实现HDR模式的视频播放。

本申请实施例中，YUV图像中UV通道不变合成Y′UV图像的方式可以为将YUV图像中第二像素的亮度信息更新为第二像素的目标亮度信息得到Y′UV图像。

将YUV图像转为RGB图像的方式请参见如下公式四：

R＝Y+1.140×V

G＝Y-0.394×U-0.581×V

B＝Y+2.032×U

将Y′UV图像转换成RGB图像后得到目标HDR图像，目标HDR图像为用于进行渲染以实现视频播放的图像。本申请实施例提供的视频应用通过渲染目标HDR图像可以实现HDR模式的视频播放。

本申请实施例提供的一种图像处理方法，不仅可以对待播放视频中图像进行HDR处理生成HDR图像以提高图像的对比度，还能进一步对HDR图像进行亮度处理，实现对HDR图像中像素的亮度的自适应调整，降低HDR处理对图像亮度的影响，进一步提高图像显示效果。

本申请发明人提出的新的HDR算法用于对图像进行处理生成HDR图像，下面从对图像进行HDR处理生成HDR图像的角度对本申请发明人提出的新的HDR算法进行详细说明，具体请参见图6。

如图6所示，该方法包括：

S601、对图像中每个像素在RGB三个通道中的每个通道的通道值进行归一化处理得到图像中每个像素在每个通道的第一通道值；

本申请实施例中，待进行HDR处理的图像的分辨率不低于1080p蓝光。以上仅仅是本申请实施例提供的待进行HDR处理的图像的优选图像格式，有关待进行HDR处理的图像的具体图像格式发明人可根据自己的需求进行设置，在此不做限定。

获取图像中每个像素的RGB信息，并归一化为[0,1]。具体的，获取图像中所有像素的RGB信息，分别对图像中每个像素的RGB信息进行归一化处理。以一个像素的RGB信息为例，该像素的RGB信息包括该像素在R通道的通道值，在G通道的通道值以及在B通道的通道值，对该像素在R通道的通道值进行归一化处理得到该像素在R通道的第一通道值，对该像素在G通道的通道值进行归一化处理得到该像素在G通道的第一通道值，以及对该像素在B通道的通道值进行归一化处理得到该像素在B通道的第一通道值。

比如，图像中像素1的RGB信息为10，255，50；则对像素1的RGB信息进行归一化处理的方式为10/255，255/255，50/255，即得到的像素1在R通道的第一通道值为2/51，像素1在G通道的第一通道值为1，像素1在B通道的第一通道值为10/51。

S602、基于图像中每个像素在每个通道的第一通道值，将图像在RGB三个通道中的每个通道分别由Gamma空间转化为线性空间；

本申请实施例中，针对图像中每个像素而言，分别对该像素在每个通道的第一通道值进行Gamma空间到线性空间的转换。以一个像素在一个通道的第一通道值为例，通过公式五将该像素在该通道的第一通道值从gamma空间转换到线性空间。公式五如下：

其中，color₀为像素在通道的第一通道值；color₁为线性空间中像素在通道的通道值。

结合上述公式五可知，当像素在通道的第一通道值小于等于0.04045时，将像素在通道的第一通道值除以12.92得到线性空间中该像素在通道的通道值；当该像素在通道的第一通道值大于0.04045时，计算该像素在通道的第一通道值与0.055的和作为第一结果，将第一结果除以1.055得到第二结果，以2.4为第二结果的指数进行计算得到的结果作为线性空间中该像素在通道的通道值。

S603、对线性空间中图像的每个像素在每个通道的通道值进行处理得到线性空间中图像的每个像素分别在每个通道的第二通道值；

步骤S603是HDR算法的关键，最大的目的是提升图像的对比度。步骤S603可以通过公式六实现。

公式六如下：

color₂＝hdrmode×(color₁/hdrmode)^hdrGamma，其中color₂是第二通道值，hdrmode和hdrGamma是两个参数，用来调整图像的对比度。当hdrmode＝1，hdrGamma＝1时输出图像与原图像相同。很显然，由于color₁<1，当hdrGamma>1时图像对比度降低，当hdrGamma<1时图像对比度增加。

本申请实施例中公式六中hdrmode＝1.5857，hdrGamma＝1.24。以上仅仅是本申请实施例提供的公式六中的hdrmode和hdrGamma这两个参数的优选内容，有关这两个参数的具体内容，发明人可根据自己的需求进行设置，在此不做限定。

本申请实施例中，基于公式六，分别将线性空间中图像的每个像素分别在每个通道的通道值转换成第二通道值，达到提高图像的对比度的目的。

以线性空间中图像的一个像素在一个通道的通道值为例，利用公式六对线性空间中该图像的该像素在该通道的通道值进行计算得到线性空间中该图像的该像素在该通道的第二通道值。

S604、将图像从线性空间转换成Gamma空间；

本申请实施例中，针对线性空间中图像的每个像素在每个通道的第二通道值而言，均通过公式七进行计算，以实现将图像从线性空间转换成Gamma空间的目的。

公式七如下：

color₃＝12.92×color₂，color₂≤0.0031308；

color₃＝1.055×color₂ ^1.0/2.4-0.055，color₂>0.0031308；

结合公式七可知，以线性空间中图像的一个像素在一个通道的第二通道值为例，如果该像素在该通道的第二通道值小于等于0.0031308时，将第二通道值乘以12.92；如果该像素在该通道的第二通道值大于0.0031308时，输出1.055*pow(color₂，1.0/2.4)-0.055。

S605、将Gamma空间的图像映射成HDR图像。

对Gamma空间的图像在RGB各个通道的通道值乘以1.2，并映射到[0,255]范围内，生成新的图像。为了便于区分，将生成的新的图像称为HDR图像。

公式八：color₄＝1.2×color₃×255

在将图像从线性空间转换成Gamma空间后，针对Gamma空间中图像的每个像素在每个通道的通道值均通过公式八进行计算以将该图像转换成HDR图像。

通过对上述对图6的分析可以看出：当图像输入小于10时，输出为0，图像输入在130左右时，输入与输出相等；当图像输入超过230时，输出已经达到255。

参见图7所示，自适应算法对应的曲线表示的是输入与输出相等的情况，线上算法对应的曲线表示的是上述如图6所示的步骤生成的图像的效果。需要说明的是，图像的输入可以认为是图像中像素在通道的通道值，图像的输出可以认为是图像中像素在通道的通道值经过如图6所示的HDR处理方法的处理后所得到的结果。从上图可知，对于黑暗场景，图像亮度较低，运用线上算法(也可以称为线上HDR算法)得到的HDR图像会更加暗，需要图像处理算法对HDR图像的像素亮度进行自适应调整，对于比较黑暗场景的图像，运用图像处理方法后提升图像的亮度。

本申请实施例提供一种图像处理方法，不仅能够对图像进行HDR处理增强图像对比度，还能够分析HDR图像的亮度信息，对于图像中黑暗区域提升亮度信息，对图像中非常明亮区域降低亮度信息，以提高观看体验。参见图8-9是两个黑暗场景的例子，整个图像被均分为三份，左边部分是原图像，中间区域是基于本申请实施例提供的一种图像处理方法对原图像的处理结果，右侧区域是现有的HDR技术对原图像的处理结果。

从图8-9两个例子可以看出，在原图像显示黑暗场景的情况下，右侧的现有的HDR技术对原图像的处理结果的亮度会比原图像更低，造成更多区域看不清。使用本申请实施例提供的一种图像处理方法，可以提升图像的亮度信息，使得越暗的图像亮度提高越多；而对于接近于正常亮度场景的图像，本申请实施例提供的一种图像亮度处理方法的公式六的修正幅度有限，修正后的实际效果更接近于正常亮度场景。

图10为本申请实施例提供的一种图像处理装置结构示意图。

如图10所示，该装置包括：

HDR处理单元1001，用于确定对待播放视频中的图像进行高动态范围HDR处理生成的HDR图像；

第一像素确定单元1002，用于从HDR图像的所有像素中确定亮度信息表征HDR图像的标准亮度的第一像素；

亮度调整信息确定单元1003，用于比较HDR图像中第二像素的亮度信息和第一像素的亮度信息确定第二像素的亮度调整信息，第二像素不同于第一像素；

亮度调整单元1004，用于以趋近于所述第一像素的亮度信息为目标利用所述第二像素的亮度调整信息对所述第二像素的亮度信息进行非线性处理得到所述第二像素的目标亮度信息；

目标HDR图像生成单元1005，用于基于HDR图像中第二像素的目标亮度信息生成用于进行视频播放的目标HDR图像。

本申请实施例中，优选的，第一像素确定单元包括：

亮度信息计算单元，用于分别计算HDR图像中每个像素的亮度信息，像素的亮度信息为像素的亮度值；

像素序列生成单元，用于对HDR图像中所有像素按照亮度值依次排序生成像素序列，像素序列中相邻两个像素的亮度值满足预先设置的排序规则；

第一像素确定子单元，用于确定与排序规则匹配的选取规则，获取选取规则指示的位于像素序列中目标位置处的第一像素，第一像素的亮度值表征HDR图像的标准亮度。

本申请实施例中，优选的，亮度调整信息确定单元包括：

比较结果生成单元，用于比较HDR图像的第二像素的亮度值和第一像素的亮度值生成第二像素的比较结果；

第一确定单元，用于如果第二像素的比较结果表征第二像素的亮度值小于第一像素的亮度值，确定利用第一像素的亮度值生成的第一亮度调整信息为第二像素的亮度调整信息；

第二确定单元，用于如果第二像素的比较结果表征第二像素的亮度值大于第一像素的亮度值，将预先设置的第二亮度调整信息确定为第二像素的亮度调整信息。

本申请实施例中，优选的，亮度调整单元包括：

第一亮度值生成单元，用于对第二像素的亮度值归一化处理生成第二像素的第一亮度值；

第二亮度值生成单元，用于以趋近于第一像素的亮度值为目标基于第二像素的亮度调整信息对第二像素的第一亮度值进行非线性处理生成第二像素的第二亮度值；

第三亮度值生成单元，用于对第二像素的第二亮度值进行返归一化处理生成第二像素的第三亮度值；

亮度调整子单元，用于结合第二像素的比较结果利用第二像素的第三亮度值确定第二像素的目标亮度信息。

本申请实施例中，优选的，亮度调整子单元，包括：

第一亮度调整单元，用于如果第二像素的比较结果表征第二像素的亮度值小于第一像素的亮度值，将第二像素的第三亮度值确定为第二像素的目标亮度信息；

判断单元，用于如果第二像素的比较结果表征第二像素的亮度值大于第一像素的亮度值，判断第二像素的第三亮度值是否小于第一像素的亮度值；

第二亮度调整单元，用于若第二像素的第三亮度值小于第一像素的亮度值，将第一像素的亮度值确定为第二像素的目标亮度信息；

第三亮度调整单元，用于若第二像素的第三亮度值不小于第一像素的亮度值，将第二像素的第三亮度值确定为第二像素的目标亮度信息。

本申请实施例中，优选的，第二亮度值生成单元具体用于，以第二像素的第一亮度值为底数，第二像素的亮度调整信息为指数，对第二像素的第一亮度值进行非线性处理，生成第二像素的第二亮度值。

其中，若第二像素的比较结果表征第二像素的亮度值小于第一像素的亮度值，第二像素的亮度调整信息大于0小于1；若第二像素的比较结果表征第二像素的亮度值大于第一像素的亮度值，第二像素的亮度调整信息大于1。

本申请实施例中，优选的，目标HDR图像生成单元具体用于，将HDR图像中第二像素的亮度信息更新为第二像素的目标亮度信息得到待渲染的目标HDR图像，目标HDR图像用于被渲染以进行视频播放。

本申请提供一种图像处理装置，可以对待播放视频的图像进行HDR处理生成HDR图像以提高图像的对比度，获取HDR图像中表征HDR图像的标准亮度的第一像素，基于第一像素的亮度信息对HDR图像中除第一像素以外的第二像素的亮度信息进行非线性自适应调整生成目标HDR图像，来降低因HDR处理导致HDR图像中黑暗区域更黑暗、明亮区域更明亮，对HDR图像的显示效果造成的影响。

进一步的，本申请实施例还提供一种电子设备，该电子设备用于执行本申请实施例提供的一种图像处理方法。其中，电子设备可以为终端或者服务器。

图11为本申请实施例提供的一种图像处理方法所适用于的终端的硬件结构框图。

如图11所示该终端可以包括：处理器1101、存储器1102、通信接口1103、输入单元1104和显示器1105和通信总线1106。

存储器1102中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本发明实施例中，该存储器中至少存储有用于实现以下功能的程序：

从HDR图像的所有像素中确定亮度信息表征HDR图像的标准亮度的第一像素；

比较HDR图像中第二像素的亮度信息和第一像素的亮度信息确定第二像素的亮度调整信息，第二像素不同于第一像素；

基于HDR图像中第二像素的目标亮度信息生成用于进行视频播放的目标HDR图像。

即，该存储器中存储的程序用于实现上述实施例提供的图像处理方法。

可选的，程序的细化功能和扩展功能可参照上文描述。

处理模块1101、存储器1102、通信接口1103、输入单元1104、显示器1105、均通过通信总线1106完成相互间的通信。

在本发明实施例中，该处理器1101，可以为中央处理器(Central ProcessingUnit，CPU)，特定应用集成电路(application-specific integrated circuit，ASIC)，数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。

该处理器可以调用并执行存储器1102中存储的程序。

该通信接口1103可以为通信模块的接口，如GSM模块的接口。

本发明还可以包括输入单元1104，该输入单元可以包括感应触摸显示面板上的触摸事件的触摸感应单元、键盘等等。

该显示器1105包括显示面板，如触摸显示面板等。在一种可能的情况中，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-EmittingDiode,OLED)等形式来配置显示面板。

当然，图11所示的终端结构并不构成对本发明实施例中终端的限定，在实际应用中终端可以包括比图11所示的更多或更少的部件，或者组合某些部件。

图12为本申请实施例提供的一种图像处理方法所适用于的服务器的硬件结构框图。参照图12，服务器的硬件结构可以包括：处理器121，通信接口122，存储器123和通信总线124；

在本发明实施例中，处理器121、通信接口122、存储器123、通信总线124的数量均可以为至少一个，且处理器121、通信接口122、存储器123通过通信总线124完成相互间的通信；

处理器121可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；

存储器123可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；

其中，存储器存储有程序，处理器可调用存储器存储的程序，程序用于：

可选的，程序的细化功能和扩展功能可参照上文描述。

更进一步的，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令用于执行上述图像处理方法。

可选的，计算机可执行指令的细化功能和扩展功能可参照上文描述。

以上对本发明所提供的一种图像处理方法、装置、服务器及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述从所述HDR图像的所有像素中确定亮度信息表征所述HDR图像的标准亮度的第一像素，包括：

分别计算所述HDR图像中每个像素的亮度信息，所述像素的亮度信息为所述像素的亮度值；

对所述HDR图像中所有像素按照亮度值依次排序生成像素序列，所述像素序列中相邻两个像素的亮度值满足预先设置的排序规则；

确定与所述排序规则匹配的选取规则，获取所述选取规则指示的位于所述像素序列中目标位置处的第一像素，所述第一像素的亮度值表征所述HDR图像的标准亮度。

3.根据权利要求2所述的方法，其特征在于，所述比较所述HDR图像中第二像素的亮度信息和所述第一像素的亮度信息确定所述第二像素的亮度调整信息，所述第二像素不同于所述第一像素，包括：

比较所述HDR图像的第二像素的亮度值和所述第一像素的亮度值生成所述第二像素的比较结果；

如果所述第二像素的比较结果表征所述第二像素的亮度值小于所述第一像素的亮度值，确定利用所述第一像素的亮度值生成的第一亮度调整信息为所述第二像素的亮度调整信息；

如果所述第二像素的比较结果表征所述第二像素的亮度值大于所述第一像素的亮度值，将预先设置的第二亮度调整信息确定为所述第二像素的亮度调整信息。

4.根据权利要求3所述的方法，其特征在于，所述以趋近于所述第一像素的亮度信息为目标利用所述第二像素的亮度调整信息对所述第二像素的亮度信息进行非线性处理得到所述第二像素的目标亮度信息，包括：

对所述第二像素的亮度值归一化处理生成所述第二像素的第一亮度值；

以趋近于所述第一像素的亮度值为目标基于所述第二像素的亮度调整信息对所述第二像素的第一亮度值进行非线性处理生成所述第二像素的第二亮度值；

对所述第二像素的第二亮度值进行返归一化处理生成所述第二像素的第三亮度值；

结合所述第二像素的比较结果利用所述第二像素的第三亮度值确定所述第二像素的目标亮度信息。

5.根据权利要求4所述的方法，其特征在于，所述结合所述第二像素的比较结果利用所述第二像素的第三亮度值确定所述第二像素的目标亮度信息，包括：

如果所述第二像素的比较结果表征所述第二像素的亮度值小于所述第一像素的亮度值，将所述第二像素的第三亮度值确定为所述第二像素的目标亮度信息；

如果所述第二像素的比较结果表征所述第二像素的亮度值大于所述第一像素的亮度值，判断所述第二像素的第三亮度值是否小于所述第一像素的亮度值；

若所述第二像素的第三亮度值小于所述第一像素的亮度值，将所述第一像素的亮度值确定为所述第二像素的目标亮度信息；

若所述第二像素的第三亮度值不小于所述第一像素的亮度值，将所述第二像素的第三亮度值确定为所述第二像素的目标亮度信息。

6.根据权利要求4所述的方法，其特征在于，所述以趋近于所述第一像素的亮度值为目标基于所述第二像素的亮度调整信息对所述第二像素的第一亮度值进行非线性处理生成所述第二像素的第二亮度值，包括：

以所述第二像素的第一亮度值为底数，所述第二像素的亮度调整信息为指数，对所述第二像素的第一亮度值进行非线性处理，生成所述第二像素的第二亮度值；

其中，若所述第二像素的比较结果表征所述第二像素的亮度值小于所述第一像素的亮度值，所述第二像素的亮度调整信息大于0小于1；若所述第二像素的比较结果表征所述第二像素的亮度值大于所述第一像素的亮度值，所述第二像素的亮度调整信息大于1。

7.根据权利要求2所述的方法，其特征在于，所述基于所述HDR图像中所述第二像素的目标亮度信息生成用于进行视频播放的目标HDR图像，包括：

将所述HDR图像中所述第二像素的亮度信息更新为所述第二像素的目标亮度信息得到待渲染的目标HDR图像，所述目标HDR图像用于被渲染以进行视频播放。

8.一种图像处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现如权利要求1-7任意一项所述的图像处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-7任意一项所述的图像处理方法。