CN114742716A - 图像处理方法、装置、设备和存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、设备和存储介质。图像处理方法包括获取待处理图像在第一色彩空间的全局明亮度参量和待处理图像中人物面部的皮肤区域的肤色明亮度参量；通过全局明亮度参量和肤色明亮度参量，确定调整皮肤区域的整体亮度调整幅度参量；根据全局明亮度参量、肤色明亮度参量和调整幅度参量，调整待处理图像。本申请实施例提供的方法能够减少用户在视频会议或者视频直播等视频交互过程中人物皮肤颜色异常的情况，提高用户交互体验。

Description

图像处理方法、装置、设备和存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像处理方法、装置、设备和存储介质。

背景技术

随着计算机技术的发展，越来越多的用户可以使用如手机、相机、连接摄像头的计算机等设备进行视频会议或者视频直播。

但是，由于不同设备的采集硬件如摄像头、设备传感器等质量的参差不齐，以及视频采集过程中环境光照条件的不同，导致视频画面存在异常如人脸出现或明或暗的情况，影响用户的使用体验。

发明内容

本申请实施例提供一种图像处理方法、装置、设备和存储介质，可以有效解决在视频会议或者视频直播的过程中，视频画面存在异常如人脸出现或明或暗的情况，影响用户交互体验的问题。

根据本申请实施例的第一方面，提供一种图像处理方法，包括：

获取待处理图像在第一色彩空间的全局明亮度参量和待处理图像中人物面部的皮肤区域的肤色明亮度参量；

通过全局明亮度参量和肤色明亮度参量，确定调整皮肤区域的整体亮度调整幅度参量；

根据全局明亮度参量、肤色明亮度参量和调整幅度参量，调整待处理图像，得到目标图像。

根据本申请实施例的第二方面，提供一种基于直播的图像处理方法，包括：

在接收到用户端发送的直播请求的情况下，获取直播视频流，直播视频流包括至少一帧待处理图像；

获取待处理图像在第一色彩空间的全局明亮度参量和待处理图像中人物的皮肤区域的肤色明亮度参量；

通过全局明亮度参量和肤色明亮度参量，确定调整皮肤区域的整体亮度调整幅度参量；

根据全局明亮度参量、肤色明亮度参量和整体亮度调整幅度参量，调整待处理图像，得到目标图像；

向观看直播的用户端展示目标图像。

根据本申请实施例的第三方面，提供一种图像处理装置，包括：

获取模块，用于获取待处理图像在第一色彩空间的全局明亮度参量和待处理图像中人物面部的皮肤区域的肤色明亮度参量；

确定模块，用于通过全局明亮度参量和肤色明亮度参量，确定调整皮肤区域的整体亮度调整幅度参量；

调整模块，用于根据全局明亮度参量、肤色明亮度参量和调整幅度参量，调整待处理图像，得到目标图像。

根据本申请实施例的第四方面，一种基于直播的图像处理装置，包括：

获取模块，用于在接收到用户端发送的直播请求的情况下，获取直播视频流，直播视频流包括至少一帧待处理图像；

获取模块还用于，获取待处理图像在第一色彩空间的全局明亮度参量和待处理图像中人物的皮肤区域的肤色明亮度参量；

确定模块，用于通过全局明亮度参量和肤色明亮度参量，确定调整皮肤区域的整体亮度调整幅度参量；

调整模块，用于根据全局明亮度参量、肤色明亮度参量和整体亮度调整幅度参量，调整待处理图像，得到目标图像；

展示模块，用于向观看直播的用户端展示目标图像。

根据本申请实施例的第五方面，提供一种计算机设备，包括：存储器和处理器；

存储器，用于存储有计算机程序；

处理器，用于执行存储器中存储的计算机程序，计算机程序运行时使得处理器执行如第一方面所示的图像处理方法的步骤，或者执行如第二方面所示的基于直播的图像处理方法的步骤。

根据本申请实施例的第六方面，提供一种计算机可读存储介质，计算机可读存储介质上存储程序或指令，在程序或指令被计算机设备执行的情况下，使得计算机设备执行如第一方面所示的图像处理方法的步骤，或者执行如第二方面所示的基于直播的图像处理方法的步骤。

根据本申请实施例的第七方面，提供一种计算机程序产品，包括计算机程序，在计算机程序被计算机设备执行的情况下，使得计算机设备执行如第一方面所示的图像处理方法的步骤，或者执行如第二方面所示的基于直播的图像处理方法的步骤。

根据本申请实施例中的图像处理方法、装置、设备和存储介质，通过待处理图像在第一色彩空间的全局明亮度参量和待处理图像中人物的皮肤区域的肤色明亮度参量，以及基于全局明亮度参量和肤色明亮度参量，确定调整皮肤区域的整体亮度调整幅度参量，可以使人物皮肤区域实现自适应调整亮度，改进目前使用固定整体亮度调整幅度参量的方式，使得根据待处理图像中的场景自适应调整人物皮肤亮度，然后，根据全局明亮度参量、肤色明亮度参量和调整幅度参量，调整待处理图像，得到目标图像，由此，改善了在直播过程中人脸出现或明或暗的情况，减少了用户在视频会议或者视频直播等视频交互过程中人物皮肤颜色异常的情况，提高用户交互体验的同时，提升算法的鲁棒性。

附图说明

从下面结合附图对本申请的具体实施方式的描述中可以更好地理解本申请其中，相同或相似的附图标记表示相同或相似的特征。

图1是示出根据一个实施例的一种图像处理架构示意图；

图2是示出根据一个实施例的一种图像处理流程示意图；

图3是示出根据一个实施例的一种图像处理方法的流程图；

图4是示出根据一个实施例的一种图像处理流程的流程图；

图5是示出根据一个实施例的一种基于直播的图像处理方法的流程图；

图6是示出根据一个实施例的一种图像处理装置的结构示意图；

图7是示出根据一个实施例的一种基于直播的图像处理装置的结构示意图；

图8是示出根据一个实施例的计算机设备的硬件结构示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本申请，并不被配置为限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

高动态范围成像(High Dynamic Range Imaging，HDRI或HDR)技术在计算机图形学与电影摄影术中，是用来实现比普通数位图像技术更大曝光动态范围(即更大的明暗差别)的一组技术，色调映射是HDR技术的重要组成部分。色调映射是在有限动态范围媒介上近似显示高动态范围图像的一项计算机图形学技术，其目的是将高动态范围的实际场景能够适应动态的显示设备。若要实现这一目的，就需要将HDR图像的色度、明亮度、动态范围等，映射到光电传感器(LDR)图像的标准范围内。

色调映射可以分为全局色调映射(global tone mapping)(即空间不变)和局部色调映射(即空间变化)。其中，全局色调映射是对图像中的所有像素使用同样的映射函数，因此，相同的输入像素值会被确定地映射到一个相同的输出像素值，即基于图像全局性信息，对整幅图像的所有像素点采用相同的转换函数进行调整，转换函数可以是幂函数、对数函数、sigmoid函数等。局部色调映射对图像中不同的空间区域采用不同的转换函数，这种情况下，映射前颜色相同的区域，在映射后的颜色可能不同，这与其所在位置和周围的像素点值有关。这样，全局色调映射相对于局部色调映射，处理速度更快，同时，全局色调映射可以利用查找表更快地处理图片，因此更适合用于视频的处理。

基于此，用户可以使用如手机、相机、连接摄像头的计算机等设备进行视频会议或者视频直播，但是，由于不同设备的采集硬件如摄像头、设备传感器等质量的参差不齐，以及视频采集过程中环境光照条件的不同，导致视频画质存在异常，如人脸出现或明或暗的情况。其中，在采集硬件可以为笔记本摄像头、通用串行总线(universal serial bus，USB)摄像头、手机的传感器、相机的光敏传感器等，且传感器动态范围(即采集物理量如可变化信号(例如声音或光)的最大、最小范围或其输出的最大、最小范围，可以用以10为底的对数(分贝)或以2为底的对数表示)较大或采集环境处于较暗的场景时，由于传感器动态范围和自动曝光的限制，视频中的用户皮肤如用户面部皮肤容易出现显示过暗(过亮)的情况，影响用户交互体验。

在相关技术中，可以通过对数函数映射方式，即不同明亮度选择不同对数基底的算法对视频进行处理，虽然能保留图像的细节和对比度，但是，该方式存在如下问题：第一，图像的颜色饱和度会发生较大变化，导致处理后的图像的显示色度存在异常；第二，该方式涉及的算法中含有固定的经验参数，没有考虑到视频包含人脸、且人脸的面部皮肤为感兴趣区域(region of interest，ROI)的自适应性情况，导致处理后的皮肤区域在显示时出现偏暗或偏亮，在影响成像质量的同时，降低用户交互体验感。

由此，针对上述问题，在图像包含的用户面部皮肤为ROI时，通过本申请实施例提供的皮肤颜色自适应的全局色调映射的图像处理方法，可以提升人脸感观，有效解决在视频会议或者视频直播的过程中，视频画面存在异常如人脸出现或明或暗，影响用户交互体验的问题。

基于此，下面结合附图1所示的本申请实施例中的图像处理架构，对本申请实施例提供的图像处理方法进行详细地说明。

在一种或者多种可能的实施例中，如图1所示，本申请实施例提出的图像处理架构可以包括用户端10和服务端20。示例性地，用户端10可以为手机、平板电脑、笔记本电脑、掌上电脑、可穿戴设备等设备，该设备中可以包括摄像头、设备传感器等图像采集硬件，用以提供拍摄或者录制视频(或者图像)功能；或者，该设备可以连接外接图像采集硬件如USB摄像头，以实现拍摄或者录制视频(或者图像)功能。服务端20可以为具有图像处理功能的实体计算机设备，也可以为具有图像处理功能的云平台如公有云平台、私有云平台、混合云平台。服务端20可以接收用户端10传输的视频(或者图像)，并为用户端10提供本申请实施例中的图像处理服务，以实现在视频会议或者视频直播的过程中，改善视频画面异常如人脸出现或明或暗的情况，提高用户交互体验。

基于上述显示架构，结合图2对本申请实施例提供的图像处理方法详细说明。

如图2所示，用户端10通过图像采集硬件获取视频，并向服务端20发送获取到的视频。

服务端20接收视频，并通过颜色编码算法对该视频进行编码，得到数据格式为第一色彩空间(即YUV)的多帧图像，并在多帧图像中提取包括至少一帧人物的待处理图像。接着，获取待处理图像在第一色彩空间的全局明亮度参量和待处理图像中人物的皮肤区域的肤色明亮度参量。再者，通过全局明亮度参量和肤色明亮度参量，确定调整皮肤区域的整体亮度调整幅度参量，以及，根据全局明亮度参量、肤色明亮度参量和调整幅度参量，调整待处理图像，得到明亮度和颜色都增强的目标图像。需要说明的是，本申请实施例中的皮肤区域可以指代用户面部的皮肤区域。

基于此，服务端20通过颜色编码算法对目标图像进行编码，得到数据格式为第一色彩空间的目标视频，即将数据格式RGB再转换成YUV，以向用户端10发送图像格式为YUV的目标视频。

这样，用户端10在接收到服务端20发送的目标视频时，向用户显示已经改善人物面部的皮肤区域的明亮度和色彩的图像。

需要说明的是，可以按照实际情况，采用不同的颜色编码算法对该视频进行编码，得到数据格式为其他色彩空间如CMY、HSV、HSI等，本申请实施例以YUV为例进行说明。

由此，本申请实施例提供的图像处理方法，可以通过待处理图像在第一色彩空间的全局明亮度参量和待处理图像中人物面部的皮肤区域的肤色明亮度参量，以及基于全局明亮度参量和肤色明亮度参量，确定调整皮肤区域的整体亮度调整幅度参量，可以使人物面部区域实现自适应调整亮度，然后，根据全局明亮度参量、肤色明亮度参量和调整幅度参量，调整待处理图像，得到目标图像，由此，改善了在直播过程中人脸出现或明或暗的情况，减少了用户在视频会议或者视频直播等视频交互过程中人物皮肤颜色异常的情况，提高用户交互体验的同时，提升算法的鲁棒性。

在另一种或者多种可能的实施例中，仍参照图1，本申请实施例提出的图像处理架构可以仅包括用户端10。此时，用户端10可以包括摄像头、设备传感器等图像采集硬件，用以提供拍摄或者录制视频(或者图像)功能；或者，该设备可以连接外接图像采集硬件如USB摄像头，以实现拍摄或者录制视频(或者图像)功能；以及，根据用户端10获取的视频(或者图像)提供本申请实施例中的图像处理服务，以实现在视频会议或者视频直播的过程中，改善视频画面异常如人脸出现或明或暗的情况，提高用户交互体验。

当然，在又一种或者多种可能的实施例中，仍参照图1，本申请实施例提出的图像处理架构可以仅包括服务端20，服务端10可以用于为用户端在视频会议或者视频直播过程中提供图像处理方法。即服务端20在接收到用户端发送的直播请求的情况下，获取直播视频流，直播视频流包括至少一帧待处理图像；获取待处理图像在第一色彩空间的全局明亮度参量和待处理图像中人物的皮肤区域的肤色明亮度参量；通过全局明亮度参量和肤色明亮度参量，确定调整皮肤区域的整体亮度调整幅度参量；根据全局明亮度参量、肤色明亮度参量和整体亮度调整幅度参量，调整待处理图像，得到目标图像；向观看直播的用户端展示目标图像。

由此，服务端20可以对获取到的视频提供本申请实施例中的图像处理方式，以支持与服务端对应的用户端在视频会议或者视频直播的过程中，改善视频画面异常如人脸出现或明或暗的情况，提高用户交互体验。

需要说明的是，本申请实施例中的图像处理架构除了可以应用于上述所示的用户在视频会议或者视频直播等视频交互场景中，以改善由于用户端传感器动态范围和自动曝光的限制，导致的视频中用户面部皮肤容易出现显示过暗的情况，提高用户交互体验，在实际应用中，也可以应用于任何需要调整视频(或者图像)中用户皮肤的场景。

根据上述架构以及应用场景，下面分别结合图3对本申请实施例提供的图像处理方法进行详细说明。

图3是示出根据一个实施例的一种图像处理方法的流程图。

如图3所示，图像处理方法可以应用于上述图像处理架构，具体可以包括：

步骤310，获取待处理图像在第一色彩空间的全局明亮度参量和待处理图像中人物面部的皮肤区域的肤色明亮度参量；步骤320，通过全局明亮度参量和肤色明亮度参量，确定调整皮肤区域的整体亮度调整幅度参量；步骤330，根据全局明亮度参量、肤色明亮度参量和调整幅度参量，调整待处理图像，得到目标图像。

下面分别对上述步骤进行详细说明，具体如下所示。

涉及步骤310，本申请实施例中，全局明亮度参量可以包括下述中的至少一项：全局平均明亮度值、明亮度最大值。

下面可以通过如下步骤分别计算全局平均明亮度值和明亮度最大值。

首先，需要说明的是，如图4所示，本申请实施例中可以基于多种类型的颜色空间如YUV。CMY、HSV、HSI对视频中包括人物的皮肤颜色检测算法，这里，以第一色彩空间YUV为通过亮度-色差来描述颜色的颜色空间为例进行说明。其中，Y表示明亮度(Luminance或Luma)，也就是灰阶值，Y对应的通道为明亮度通道；U和V表示色度(chrominance或chroma)，作用是描述影像色彩及饱和度，色度通道用于表征待处理图像的色彩饱和度和待处理图像中每个像素的色彩程度，U和V对应色度通道。

基于此，步骤310具体可以包括步骤3101和步骤3102，以计算明亮度最大值。

步骤3101，在第一色彩空间遍历待处理图像中的每个像素，计算每个像素在明亮度通道的明亮度累加值。

步骤3102，从多个明亮度累加值中，筛选大于或者等于预设明亮度累加值的第一目标明亮度累加值，并确定第一目标明亮度累加值为明亮度最大值。

然后，步骤310具体可以包括步骤3103和步骤3104，以计算全局平均明亮度值。

步骤3103，获取待处理图像的图像属性参数，图像属性参数包括高度值和宽度值。

步骤3104，基于每个像素在明亮度通道的明亮度累加值和待处理图像的图像属性参数，计算全局平均明亮度值。

示例性地，如图4所示，在YUV遍历待处理图像中的每个像素，计算像素对应明亮度通道的明亮度luma的对数值，即log_luma＝log(luma)，每个像素在明亮度通道的第一目标明亮度累加值为sum＝sum+log_luma。

基于此，从多个明亮度累加值中，筛选大于或者等于预设明亮度累加值的第一目标明亮度累加值，即明亮度最大值为luma_max＝max(luma_max,luma)。

遍历完毕后，通过下述公式(1)计算全局平均明亮度值luma_ave，这里，可以通过全局对数平均值表征全局平均明亮度值。

其中，sum为明亮度累加值，width为待处理图像的宽度值，height为待处理图像的高度值。

另外，在一示例中，该步骤310具体可以包括步骤3105和步骤3106，以确定人物面部的皮肤区域。

步骤3105，在第一色彩空间包括色度通道的情况下，在第一色彩空间遍历待处理图像中的每个像素，获取每个像素在色度通道的色度值。

步骤3106，从多个色度值中，筛选满足于预设色度值的目标色度值，并确定目标色度值对应像素的区域为皮肤区域。

示例性地，如图4所示，在YUV空间，遍历图像每个像素，通过判断色度值确定待处理图像中的皮肤区域，其中，色度值包括U的分量值和V的分量值，基于此，筛选每个像素中满足U的分量值大于第一预设分量值u_thresh_low、且小于第二预设分量值u_thresh_high，以及V的分量值大于第三预设分量值v_thresh_low、且小于第四预设分量值v_thresh_high的目标色度值，确定目标色度值对应的像素所在区域为皮肤区域。

基于此，本申请实施例中的肤色明亮度参量包括皮肤区域的肤色亮度平均值，肤色亮度平均值用于表征皮肤的平均亮度的情况下，该步骤310具体可以包括步骤3107和步骤3108，以计算肤色亮度平均值。

步骤3107，根据皮肤区域的每个目标像素，计算目标像素在明亮度通道的第二目标明亮度累加值。

步骤3108，基于全局明亮度参量、第二目标明亮度累加值和目标像素的计数值，计算肤色亮度平均值。

示例性地，目标像素在明亮度通道的第二明亮度累加值sum＝sum+luma，并计算目标像素的计数值count＝count+1，在遍历完毕后，通过下述公式(2)计算肤色亮度平均值skin_ave：

skin_ave＝(sum/count)/luma_ave (2)

其中，luma_ave为全局平均明亮度值。

涉及步骤320，在一种或者多种可能的实施例中，该步骤320具体可以包括：

基于预设图像属性参数和皮肤颜色明亮度参量的关联信息，获取与待处理图像的图像属性参数对应的目标皮肤颜色明亮度参量，目标皮肤颜色明亮度参量为调整皮肤区域的明亮度值；

通过对数函数映射算法，根据全局明亮度参量、肤色明亮度参量和目标皮肤颜色明亮度值，计算整体亮度调整幅度参量。

示例性地，获取待处理图像的图像属性参数，该图像属性参数还可以包括图像位深度，如8比特(bit)，基于预设图像属性参数和皮肤颜色明亮度参量的关联信息，获取与8bit对应的目标皮肤颜色明亮度参量如skin_dst＝165(可以根据需求自主设置)，然后，通过下述公式3反解出此时的整体亮度调整幅度参量(bias)的值，从而得到此场景中对待处理图像的整体调整幅度：

其中，L＝skin_ave/luma_ave，skin_ave为肤色亮度平均值，luma_ave为全局平均明亮度值；L_max＝luma_max/luma_ave，L_max为全局最大值，luma_max为明亮度最大值。

这里，在得到整体亮度调整幅度参量之后，可以将公式(3)中初始的整体亮度调整幅度参量调整为上述公式(3)得到的整体亮度调整幅度参量，以便计算肤色明亮度参量Y′。

涉及步骤330，在一种或者多种可能的实施例中，基于上述步骤220，该步骤320具体可以包括步骤3301和步骤3302。

步骤3301，通过变换梯度的饱和度保持算法，基于全局明亮度参量和肤色明亮度参量，得到皮肤区域的颜色校正参数。

进一步地，该步骤3301具体可以包括：

基于全局明亮度参量、肤色明亮度参量和整体亮度调整幅度参量，计算肤色明亮度参量的邻域肤色明亮度参量，邻域肤色明亮度参量包括与肤色明亮度参量相邻、且满足预设条件的数值；

基于肤色明亮度参量、邻域肤色明亮度参量和整体亮度调整幅度参量，计算皮肤区域的颜色校正参数。

示例性地，如图4所示，本申请实施例基于变换梯度给出的饱和度保持公式，以在肤色明亮度参量附近求解梯度，从而得到颜色校正参数color_correction，具体过程如下：

首先，根据与公式(3)对应的逆映射的对数映射函数即公式(4)，计算邻域肤色明亮度参量luma_dst_pre＝f(Y-delta)，此时，L＝(Y-delta)/luma_ave，其中，delta为肤色明亮度参量与邻域肤色明亮度参量的步长，这里，delta为可选值，具体地，可以delta为0.01为例。

接着，继续根据公式(4)计算Y′＝f(Y)，此时L＝Y/luma_ave，则可以通过公式(5)计算用于表征邻域肤色明亮度参量的皮肤亮度的对数梯度值log_slope：

其中，luma_dst为Y′、luma为Y、luma_dst_pre为邻域肤色明亮度参量。

然后，根据颜色校正参数color_correction＝exp(log_slope,a)，其中a为自选值，在本申请实施例可取0.5，或者其他可选值。这样，通过变换梯度计算的皮肤亮度的对数梯度值，确定颜色校正参数，以保持色调映射前后饱和度的一致性。

由此，通过在YUV空间检测皮肤区域，并计算皮肤区域的肤色亮度平均值，通过待处理图像的图像属性参数，计算颜色校正参数，从而，基于公式(3)至公式(4)的逆映射，得到整体亮度调整幅度参量，改进目前使用固定整体亮度调整幅度参量的方式，使得根据待处理图像中的场景自适应调整人物面部亮度，解决了皮肤颜色饱和度由于提亮可能导致的剧烈变化问题，改善在人物面部的皮肤区域的亮度表现不稳定如人脸出现或明或暗的情况，减少了用户在视频会议或者视频直播等视频交互过程中人物皮肤颜色异常的情况，提高用户交互体验的同时，提升算法的鲁棒性。

步骤3302，根据颜色校正参数、全局明亮度参量、肤色明亮度参量和整体亮度调整幅度参量，调整待处理图像，得到目标图像。

进一步地，该步骤3302具体可以包括步骤33021和步骤33022。

步骤33021，根据全局明亮度参量、肤色明亮度参量、颜色校正参数和整体亮度调整幅度参量，构建待处理图像从第一色彩空间到第二色彩空间的映射查找关联信息。

步骤33022，基于映射查找关联信息，获取待处理图像在第二色彩空间的目标调整值，并按照目标调整值调整待处理图像，得到目标图像。

示例性地，如图4所示，根据公式(1)至公式(5)得到的L_max、luma_ave、bias以及color_correction，对于8bit位宽的图像，计算出256*256大小的映射查找关联信息，其中，亮度映射的计算公式为y'＝f(luma/luma_ave,L_max,bias)，即为公式(4)，其中L＝luma/luma_ave，颜色调整的计算公式即color_dst＝g(color_src,y',y,color_correction)，其中，luma的值为[0,1,2...255]，color_src的值为[0,1,2..255]，遍历得到color_dst＝H(luma,color_src)，可以通过公式(6)得到二维的映射查找关联信息：

其中，color_src包括第二色彩空间的第一颜色通道即r通道的分量值、第二颜色通道即g通道的分量值和第三颜色通道即b通道分量值。这样，可以得到映射后的color_dst。

基于此，在一种或者多种可能的实施例中，第二色彩空间包括第一颜色通道、第二颜色通道和第三颜色通道，目标调整值包括第一调整值、第二调整值和第三调整值。

基于此，该步骤33021具体可以包括：

获取皮肤区域的每个目标像素在第一颜色通道的第一初始值、第二颜色通道的第二初始值和第三颜色通道的第三初始值；

基于每个目标像素在第一色彩空间的明亮度参量、第一初始值、第二初始值和第三初始值，通过映射查找关联信息计算与第一初始值对应的第一调整值、与第二初始值对应的第二调整值和与第三初始值对应的第三调整值。

示例性地，进入图像映射过程，将YUV空间的明亮度通道的Y和RGB空间的r、g、b值作为索引通过映射查找关联信息得到全局色调映射和颜色调整之后的r'、g'和b'值。待处理图像的图像遍历像素点(x,y)，此时YUV空间中明亮度通道的明亮度值为Y，第二色彩空间RGB包括第一颜色通道即r通道、第二颜色通道即g通道和第三颜色通道即b通道，然后，若r通道的第一初始值为r、g通道的第二初始值为g和b通道的第三初始值为b，则映射后RGB的三通道值分别为r'＝H(luma,r)，g'＝H(luma,g)，b'＝H(luma,b)，遍历完毕即可得到整幅增强之后的图像。

基于此，步骤33022具体可以包括：

将每个目标像素在第一颜色通道的第一初始值调整为第一调整值、第二初始值调整为第二调整值以及第三初始值调整为第三调整值，得到调整后的皮肤区域；

基于调整后的皮肤区域更新待处理图像，得到目标图像。

在另一种或者多种可能的实施例中，目标调整值还包括待处理图像的全局色度参量，基于此，步骤33022具体可以包括：

通过全局色调映射算法，基于调整后的皮肤区域和全局色度参量，更新待处理图像，得到目标图像。由此，映射查找关联信息可以同时实现亮度调整和颜色调整，提升了运算效率。

综上，根据本申请实施例中的图像处理方法、装置、设备和存储介质，通过待处理图像在第一色彩空间的全局明亮度参量和待处理图像中人物的皮肤区域的肤色明亮度参量，以及基于全局明亮度参量和肤色明亮度参量，确定调整皮肤区域的整体亮度调整幅度参量，可以使人物皮肤区域实现自适应调整亮度，改进目前使用固定整体亮度调整幅度参量的方式，使得根据待处理图像中的场景自适应调整人物面部亮度，改善在人物面部的皮肤区域的亮度表现不稳定如人脸出现或明或暗的情况，减少了用户在视频会议或者视频直播等视频交互过程中人物皮肤颜色异常的情况，提高用户交互体验的同时，提升算法的鲁棒性。

然后，根据全局明亮参量、肤色明亮度参量和调整幅度参量，构建待处理图像从第一色彩空间到第二色彩空间的映射查找关联信息；基于映射查找关联信息，获取待处理图像在第二色彩空间的目标调整值，并按照目标调整值调整待处理图像，得到目标图像，由此，可以通过映射查找表同时实现待处理图像的亮度调整和颜色调整，提升了运算效率。

基于相同的发明构思，为了更好地说明本申请实施例提供的图像处理方法，本申请实施例提供了一种在视频会议或者视频直播的场景下的图像处理方法，具体可以结合图5进行详细说明。

图5是示出根据一个实施例的一种基于直播的图像处理方法的流程图。

如图5所示，图像处理方法可以应用于上述图像处理架构，具体可以包括：

步骤510，在接收到用户端发送的直播请求的情况下，获取直播视频流，直播视频流包括至少一帧待处理图像；步骤520，获取待处理图像在第一色彩空间的全局明亮度参量和待处理图像中人物的皮肤区域的肤色明亮度参量；步骤530，通过全局明亮度参量和肤色明亮度参量，确定调整皮肤区域的整体亮度调整幅度参量；步骤540，根据全局明亮度参量、肤色明亮度参量和整体亮度调整幅度参量，调整待处理图像，得到目标图像；步骤550，向观看直播的用户端展示目标图像。

这样，可以基于上述图3所示的图像处理方法，可以在视频会议或者视频直播等视频交互场景中，改善由于用户端传感器动态范围和自动曝光的限制，导致的视频中用户面部皮肤容易出现显示过暗的问题，减少了用户在视频会议或者视频直播等视频交互过程中人物皮肤颜色异常的情况，提高用户交互体验的同时，提升算法的鲁棒性。

需要明确的是，本申请并不局限于上文实施例中所描述并在图中示出的特定配置和处理。为了描述的方便和简洁，这里省略了对已知方法的详细描述，并且上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

基于相同的发明构思，本申请提供了与上述涉及的图像处理方法对应的图像处理装置。具体结合图6进行详细说明。

图6是示出根据一个实施例的一种图像处理装置的结构示意图。

如图6所示，图像处理装置60应用于如图1所示的图像处理架构中，图像处理装置60具体可以包括：

获取模块601，用于获取待处理图像在第一色彩空间的全局明亮度参量和待处理图像中人物的皮肤区域的肤色明亮度参量；

确定模块602，用于通过全局明亮度参量和肤色明亮度参量，确定调整皮肤区域的整体亮度调整幅度参量；

构建模块603，用于根据全局明亮度参量、肤色明亮度参量和整体亮度调整幅度参量，调整待处理图像，得到目标图像。

基于此，下面对本申请实施例提供的图像处理装置60进行详细说明：在一种或者多种可能的实施例中，获取模块601具体可以用于，在全局明亮度参量包括明亮度最大值，第一色彩空间包括明亮度通道的情况下，在第一色彩空间遍历待处理图像中的每个像素，计算每个像素在明亮度通道的明亮度累加值；

从多个明亮度累加值中，筛选大于或者等于预设明亮度累加值的第一目标明亮度累加值，并确定第一目标明亮度累加值为明亮度最大值。

在另一种或者多种可能的实施例中，获取模块601具体可以用于，在全局明亮度参量包括全局平均明亮度值的情况下，基于每个像素在明亮度通道的明亮度累加值和待处理图像的图像属性参数，计算全局平均明亮度值；其中，图像属性参数包括高度值和宽度值。

在又一种或者多种可能的实施例中，获取模块601还可以用于，在第一色彩空间包括色度通道，色度通道用于表征待处理图像的色彩饱和度和待处理图像中每个像素的色彩程度的情况下，在第一色彩空间遍历待处理图像中的每个像素，获取每个像素在色度通道的色度值；从多个色度值中，筛选满足于预设色度值的目标色度值，并确定目标色度值对应像素的区域为皮肤区域。

在再一种或者多种可能的实施例中，获取模块601具体可以用于，在肤色明亮度参量包括皮肤区域的肤色亮度平均值，肤色亮度平均值用于表征人物面部的平均皮肤颜色的情况下，根据皮肤区域的每个目标像素，计算目标像素在明亮度通道的第二目标明亮度累加值；

基于全局明亮度参量、第二目标明亮度累加值和目标像素的计数值，计算肤色亮度平均值。

在再一种或者多种可能的实施例中，确定模块602具体可以用于，基于预设图像属性参数和皮肤颜色明亮度参量的关联信息，获取与待处理图像的图像属性参数对应的目标皮肤颜色明亮度参量，目标皮肤颜色明亮度参量为调整皮肤区域的明亮度值；

通过对数函数映射算法，根据全局明亮度参量、肤色明亮度参量和目标皮肤颜色明亮度值，计算整体亮度调整幅度参量。

在再一种或者多种可能的实施例中，构建模块603具体可以用于，通过变换梯度的饱和度保持算法，基于全局明亮度参量和肤色明亮度参量，得到皮肤区域的颜色校正参数；

根据颜色校正参数、全局明亮度参量、肤色明亮度参量和整体亮度调整幅度参量，调整待处理图像，得到目标图像。

进一步地，构建模块603具体可以用于，基于全局明亮度参量、肤色明亮度参量和整体亮度调整幅度参量，计算肤色明亮度参量的邻域肤色明亮度参量，邻域肤色明亮度参量包括与肤色明亮度参量相邻、且满足预设条件的数值；

基于肤色明亮度参量、邻域肤色明亮度参量和整体亮度调整幅度参量，计算皮肤区域的颜色校正参数。

在再一种或者多种可能的实施例中，构建模块603具体可以用于，根据全局明亮度参量、肤色明亮度参量、颜色校正参数和整体亮度调整幅度参量，构建待处理图像从第一色彩空间到第二色彩空间的映射查找关联信息；

基于映射查找关联信息，获取待处理图像在第二色彩空间的目标调整值，并按照目标调整值调整待处理图像，得到目标图像。

由此，通过待处理图像在第一色彩空间的全局明亮度参量和待处理图像中人物的皮肤区域的肤色明亮度参量，以及基于全局明亮度参量和肤色明亮度参量，确定调整皮肤区域的整体亮度调整幅度参量，可以使人物皮肤区域实现自适应调整亮度，改进目前使用固定整体亮度调整幅度参量的方式，使得根据待处理图像中的场景自适应调整人物皮肤亮度，然后，根据全局明亮度参量、肤色明亮度参量和调整幅度参量，调整待处理图像，得到目标图像，由此，改善了在直播过程中人脸出现或明或暗的情况，减少了用户在视频会议或者视频直播等视频交互过程中人物皮肤颜色异常的情况，提高用户交互体验的同时，提升算法的鲁棒性。

基于相同的发明构思，本申请提供了与上述涉及的基于直播的图像处理方法对应的基于直播的图像处理装置。具体结合图7进行详细说明。

图7是示出根据一个实施例的一种基于直播的图像处理装置的结构示意图。

如图7所示，基于直播的图像处理装置70应用于如图1所示的图像处理架构中，基于直播的图像处理装置70具体可以包括：

获取模块701，用于在接收到用户端发送的直播请求的情况下，获取直播视频流，直播视频流包括至少一帧待处理图像；

获取模块701还用于，获取待处理图像在第一色彩空间的全局明亮度参量和待处理图像中人物的皮肤区域的肤色明亮度参量；

确定模块702，用于通过全局明亮度参量和肤色明亮度参量，确定调整皮肤区域的整体亮度调整幅度参量；

调整模块703，用于根据全局明亮度参量、肤色明亮度参量和整体亮度调整幅度参量，调整待处理图像，得到目标图像；

展示模块704，用于向观看直播的用户端展示目标图像。

由此，可以在视频会议或者视频直播等视频交互场景中，改善由于用户端传感器动态范围和自动曝光的限制，导致的视频中用户面部皮肤容易出现显示过暗的问题，减少了用户在视频会议或者视频直播等视频交互过程中人物皮肤颜色异常的情况，提高用户交互体验的同时，提升算法的鲁棒性。

图8是示出根据一个实施例的计算机设备的硬件结构示意图。

如图8所示，计算机设备800包括输入设备801、输入接口802、处理器803、存储器804、输出接口805、以及输出设备806。

输入接口802、处理器803、存储器804、以及输出接口805通过总线810相互连接，输入设备801和输出设备806分别通过输入接口802和输出接口805与总线810连接，进而与计算机设备800的其他组件连接。具体地，输入设备801接收来自外部的输入信息，并通过输入接口802将输入信息传送到处理器803；处理器803基于存储器804中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器804中，然后通过输出接口805将输出信息传送到输出设备806；输出设备806将输出信息输出到计算机设备800的外部供用户使用。

在一个实施例中，图8所示的计算机设备800可以被实现为一种图像处理设备，该图像处理设备可以包括：存储器，被配置为存储程序；处理器，被配置为运行存储器中存储的程序，以执行上述实施例描述的图像处理方法。

在一个实施例中，该存储器还可以用于存储预设图像属性参数和皮肤颜色明亮度参量的关联信息以及结合上述图3描述的图像处理过程中每个步骤的计算结果。作为示例，该计算结果至少包括：全局明亮度参量、肤色明亮度参量、映射查找关联信息和目标图像。

根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机可读存储介质。例如，本申请的实施例包括一种计算机可读存储介质，其包括在计算机可读存储介质上存储程序或指令，在程序或指令被计算机设备执行的情况下，使得计算机设备执行上述方法的步骤。

根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以从网络上被下载和安装，和/或从可拆卸存储介质被安装。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令，当其在计算机上运行时，使得计算机执行上述各个实施例中描述的方法。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘)等。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (12)

1.一种图像处理方法，包括：

获取待处理图像在第一色彩空间的全局明亮度参量和所述待处理图像中人物的皮肤区域的肤色明亮度参量；

通过所述全局明亮度参量和所述肤色明亮度参量，确定调整所述皮肤区域的整体亮度调整幅度参量；

根据所述全局明亮度参量、所述肤色明亮度参量和所述整体亮度调整幅度参量，调整所述待处理图像，得到目标图像。

2.根据权利要求1所述的方法，其中，所述全局明亮度参量包括明亮度最大值，所述第一色彩空间包括明亮度通道；所述获取待处理图像在第一色彩空间的全局明亮度参量，包括：

在所述第一色彩空间遍历所述待处理图像中的每个像素，计算所述每个像素在所述明亮度通道的明亮度累加值；

从多个明亮度累加值中，筛选大于或者等于预设明亮度累加值的第一目标明亮度累加值，并确定所述第一目标明亮度累加值为所述明亮度最大值。

3.根据权利要求1或2所述的方法，其中，所述全局明亮度参量包括全局平均明亮度值；所述获取待处理图像在第一色彩空间的全局明亮度参量，包括：

基于所述每个像素在所述明亮度通道的明亮度累加值和所述待处理图像的图像属性参数，计算所述全局平均明亮度值；其中，所述图像属性参数包括高度值和宽度值。

4.根据权利要求1所述的方法，其中，所述第一色彩空间包括色度通道，所述色度通道用于表征所述待处理图像的色彩饱和度和所述待处理图像中每个像素的色彩程度；所述方法还包括：

在所述第一色彩空间遍历所述待处理图像中的每个像素，获取所述每个像素在所述色度通道的色度值；

从多个色度值中，筛选满足于预设色度值的目标色度值，并确定所述目标色度值对应像素的区域为所述皮肤区域。

5.根据权利要求4所述的方法，其中，所述肤色明亮度参量包括所述皮肤区域的肤色亮度平均值，所述肤色亮度平均值用于表征所述人物皮肤的平均亮度；所述获取待处理图像在第一色彩空间的全局明亮度参量和所述待处理图像中人物的皮肤区域的肤色明亮度参量，包括：

根据所述皮肤区域的每个目标像素，计算所述目标像素在所述明亮度通道的第二目标明亮度累加值；

基于所述全局明亮度参量、所述第二目标明亮度累加值和所述目标像素的计数值，计算所述肤色亮度平均值。

6.根据权利要求1所述的方法，其中，所述通过所述全局明亮度参量和所述肤色明亮度参量，确定调整所述皮肤区域的整体亮度调整幅度参量，包括：

基于预设图像属性参数和皮肤颜色明亮度参量的关联信息，获取与所述待处理图像的图像属性参数对应的目标皮肤颜色明亮度参量，所述目标皮肤颜色明亮度参量为调整所述皮肤区域的明亮度值；

通过对数函数映射算法，根据所述全局明亮度参量、所述肤色明亮度参量和所述目标皮肤颜色明亮度值，计算所述整体亮度调整幅度参量。

7.根据权利要求6所述的方法，其中，所述根据所述全局明亮度参量、所述肤色明亮度参量和所述整体亮度调整幅度参量，调整所述待处理图像，得到目标图像，包括：

通过变换梯度的饱和度保持算法，基于所述全局明亮度参量和所述肤色明亮度参量，得到所述皮肤区域的颜色校正参数；

根据所述颜色校正参数、全局明亮度参量、所述肤色明亮度参量和所述整体亮度调整幅度参量，调整所述待处理图像，得到目标图像。

8.根据权利要求7所述的方法，其中，所述通过变换梯度的饱和度保持算法，基于所述全局明亮度参量和所述肤色明亮度参量，得到所述皮肤区域的颜色校正参数，包括：

基于所述全局明亮度参量、所述肤色明亮度参量和所述整体亮度调整幅度参量，计算所述肤色明亮度参量的邻域肤色明亮度参量，所述邻域肤色明亮度参量包括与所述肤色明亮度参量相邻、且满足预设条件的数值；

基于所述肤色明亮度参量、所述邻域肤色明亮度参量和所述整体亮度调整幅度参量，计算所述皮肤区域的颜色校正参数。

9.根据权利要求7所述的方法，其中，所述根据所述颜色校正参数、全局明亮度参量、所述肤色明亮度参量和所述整体亮度调整幅度参量，调整所述待处理图像，得到目标图像，包括：

根据所述全局明亮度参量、所述肤色明亮度参量、所述颜色校正参数和所述整体亮度调整幅度参量，构建所述待处理图像从所述第一色彩空间到第二色彩空间的映射查找关联信息；

基于所述映射查找关联信息，获取所述待处理图像在所述第二色彩空间的目标调整值，并按照所述目标调整值调整所述待处理图像，得到目标图像。

10.一种基于直播的图像处理方法，包括：

在接收到用户端发送的直播请求的情况下，获取直播视频流，所述直播视频流包括至少一帧待处理图像；

获取所述待处理图像在第一色彩空间的全局明亮度参量和所述待处理图像中人物的皮肤区域的肤色明亮度参量；

通过所述全局明亮度参量和所述肤色明亮度参量，确定调整所述皮肤区域的整体亮度调整幅度参量；

根据所述全局明亮度参量、所述肤色明亮度参量和所述整体亮度调整幅度参量，调整所述待处理图像，得到目标图像；

向观看直播的用户端展示所述目标图像。

11.一种图像处理装置，包括：

获取模块，用于获取待处理图像在第一色彩空间的全局明亮度参量和所述待处理图像中人物的皮肤区域的肤色明亮度参量；

确定模块，用于通过所述全局明亮度参量和所述肤色明亮度参量，确定调整所述皮肤区域的整体亮度调整幅度参量；

构建模块，用于根据所述全局明亮度参量、所述肤色明亮度参量和所述整体亮度调整幅度参量，调整所述待处理图像，得到目标图像。

12.一种基于直播的图像处理装置，包括：

获取模块，用于在接收到用户端发送的直播请求的情况下，获取直播视频流，所述直播视频流包括至少一帧待处理图像；

所述获取模块还用于，获取所述待处理图像在第一色彩空间的全局明亮度参量和所述待处理图像中人物的皮肤区域的肤色明亮度参量；

确定模块，用于通过所述全局明亮度参量和所述肤色明亮度参量，确定调整所述皮肤区域的整体亮度调整幅度参量；

调整模块，用于根据所述全局明亮度参量、所述肤色明亮度参量和所述整体亮度调整幅度参量，调整所述待处理图像，得到目标图像；

展示模块，用于向观看直播的用户端展示所述目标图像。

Images