CN110310232B - 一种扩展和增强数字图像色域的系统及其方法 - Google Patents

Abstract

一种扩展和增强数字图像色域的系统和方法，用于将视频或图像的色彩内容扩展和增强到更宽的色域，以使所显示的视频或图像更令人愉悦，同时保留某些诸如肤色的重要和敏感的色彩，以避免对不自然的图像或视频文物的视觉感知。通过实施这种方法和系统，可以充分利用宽色域显示器的优点来提供高视觉质量的视频和图像。

Description

一种扩展和增强数字图像色域的系统及其方法

版权声明

本专利文件公开的一部分包含受版权保护的材料。本专利出现在专利和商标局专利文件和记载中，故版权所有者不反对任何专利文献或是专利公开对专利进行传真复制，但在其他方面保留所有版权权利。

技术领域

本发明一般涉及到数字视频和图像的色彩增强。具体而言，本发明涉及到一种通过将视频或图像内容的色域扩展和增强到更宽色域以实现更高视觉质量的系统。

背景技术

近期，越来越多的宽色域设备都采用了被普遍接受的标准Rec.2020，例如：数码相机、电视和手机。标准Rec.709色彩空间较小，仅有CIE 1931色彩空间的约35.9％，故参照此标准用sRGB色彩空间编码数字视频和图像内容，当视频或图像直接显示在宽色域设备中时，视频或图像的色彩，特别是肤色，看起来过于鲜艳并且不自然。传统上，解决这个问题的办法是，通过将彩色数据转换为彩色像素的线性域来进行色域转换，然后在宽色域设备中再现内容的原始色彩，如图4所示。然而，仅在宽色域显示中显示sRGB色彩空间会丧失宽色域显示的优点。

发明内容

本发明的目的是提供一种系统和方法，用于将视频或图像的色彩内容扩展和增强到更宽的色域，以使所显示的视频或图像色彩更丰富更饱满，同时保留了对某些重要和敏感色彩的自然色彩感知，如肤色。因此，可以充分利用宽色域显示的优点来提供高视觉质量的视频和图像。

从一方面来讲，本发明提供一种用于扩展和增强图像色域的系统。该系统包括：彩色图像输入端，用于接收属于第一色彩空间的一输入图像并且从输入图像获取输入像素色彩I₁；饱和度计算器，用于计算输入像素色彩的饱和度值s；饱和度映射器，用于获得修改后的饱和度值s_m；肤色检测器，用于计算输入像素色彩的肤色指数；权重指数计算器，用于计算输入像素色彩的权重指数w的权重；色彩空间转换单元，用于将第一色彩空间的一输入像素色彩转换为第二色彩空间中的初始像素色彩I_P；色彩空间扩展单元，用于将第一色彩空间中的输入像素色彩扩展为第二色彩空间中的扩展像素色彩I_E；色彩混合器，用于混合初始像素色彩和扩展像素色彩，以产生属于第二色彩空间的输出像素色彩I₂；以及用于在处理输入图像中的全部像素色彩之后在第二色彩空间中产生输出图像的彩色图像输出端。

从本发明的另外一个方面来讲，输入图像的饱和度被用做权重指数来控制宽色域图像和原始图像的混合，并以此控制像素色彩饱和度的重要性。色彩饱和度通过映射函数修改，以确保纯色彩输入产生纯色彩输出，从而使第二色彩空间被完全占用。为了控制输入像素的色彩增强级别，映射函数可以具有凸性质。最终，较低饱和度的像素色彩被增强得少，而较高饱和度的像素色彩被增强得更多，同时保留了原始图像的自然色彩。

从本发明的另外一个方面讲，为了解决色彩从第一色彩空间直接映射到色彩空间较大的第二色彩空间引起的诸如过饱和之类的伪像问题，初始色彩和直接地扩展色彩可以通过一混合函数被混合，使得只有高饱和度的像素色彩得到较大增强，而人眼敏感的色彩例如肤色等则得以保持。

附图说明

下面将参照附图更详细地描述本发明的实施例，其中：

图1为根据本发明的一个实施例的用于扩展和增强图像色域的方法的步骤流程图；

图2为根据本发明的一个实施例的用于执行扩展和增强图像色域的方法的系统的框图；

图3为根据本发明的一个实施例的用于调整像素色彩饱和度重要性的非递减凸映射曲线；

图4为展示出如何将小色彩空间直接扩展到大色彩空间的色图。

具体实施方式

在以下描述中，将用于扩展和增强图像色域等的方法和系统作为优选示例进行阐述。在不脱离本发明的范围和精神的情况下可以对其进行包括增加和/或替换的修改，这对于本领域技术人员来说是显而易见。为了不模糊本发明，可以省略具体细节；然而，公开本撰写旨在使本领域技术人员能够在不需要过多实验的情况下实践本文的内容。

图1示出了根据本发明的优选实施例，用于扩展和增强图像色域的步骤流程图100。该图像可以源自任何数字视频或图像内容，其在具有相对较小色彩空间的设备中编码，诸如基于标准Rec.709的sRGB色彩空间。该标准仅有CIE 1931色彩空间的约35.9％，并且将在更宽的色彩空间设备中显示，如CIE 1931色彩空间或基于Rec.2020的下一代色彩空间。

图1，参照本发明的一个实施例提供了过程100，其包括：接收输入图像的环节和色彩增强处理过程，包括：

a)步骤102用于从输入图像获取输入像素色彩I₁；

b)步骤104用于计算输入像素色彩的饱和度值s；

c)步骤112用于获得修改的饱和度值s_m；

d)步骤106用于计算输入像素色彩的肤色指数；

e)步骤114用于计算输入像素色彩的权重指数w；

f)步骤108用于将第一色彩空间中的输入像素色彩变换为第二色彩空间中的初始像素色彩I_P；

g)步骤110用于将第一色彩空间中的输入像素色彩扩展为第二色彩空间中的扩展像素色彩I_E；

h)步骤116用于混合初始像素色彩和扩展像素色彩以产生属于第二色彩空间的输出像素色彩I₂；

以及步骤120，用于在输入图像中所有像素色彩被处理之后，在第二色彩空间中形成输出图像。

图2示出了根据本发明的优选实施例，用于扩展和增强图像色域的系统200的框图。系统200包括用于接收属于第一色彩空间的一输入图像并从输入图像获取输入像素色彩I₁的彩色图像输入端202；用于计算输入像素色彩饱和度值s的饱和度计算器204；用于获得修改的饱和度值s_m的饱和度映射器212；用于计算输入像素色彩肤色指数的肤色检测器206；用于计算输入像素色彩权重指数w的权重指数计算器214；用于将第一色彩空间中输入像素色彩转换为第二色彩空间中的初始像素色彩I_P的色彩空间转换单元208；用于将第一色彩空间中的输入像素色彩扩展为第二色彩空间中的扩展像素色彩I_E的色彩空间扩展单元210；用于混合初始像素色彩和扩展像素色彩以在产生属于第二色彩空间的输出像素色彩I₂的色彩混合器216；以及用于在第二色彩空间中产生输出图像的彩色图像输出端220。

在本发明的各种实施例中，饱和度值s由以下函数确定：

其中，R₁，B₁和G₁分别是输入像素色彩的红色，蓝色和绿色值。饱和度值的范围可以从0到1，灰色像素的饱和度值为0，纯色的饱和度值为1。在计算饱和度值时，假设max(R₁,G₁,B₁)>1。

修改的饱和度值s_m可以通过将饱和度值s输入查找表或多项式映射函数进行映射来确定。在一个优选实施例中，映射函数可以是如图3所示的非递减凸函数300，其输入范围和输出范围都为从0到1。饱和度值0映射到修改的饱和度值0，饱和度值1映射到修改的饱和度值1。

肤色指数可以用查找表或多项式函数来确定。在一个优选实施例中，用于确定肤色指数skin color index的函数是：

skin color index＝min(max(min(skin1,skin4,skin5),0),1)；

其中

skin3＝(G₁)/32，和

skin5＝(32-(B₁-G₁))/32.

R₁，B₁和G₁分别是输入像素色彩的红色，蓝色和绿色值。对于8位输入图像，像素的色彩值范围为从0到255，肤色指数范围从0到1，其中与肤色100％相关的像素色彩具有肤色指数1，而诸如纯色像素等与肤色不相关的像素色彩的肤色指数为0。

加权指数w可以通过查找表或多项式函数来确定。在一个优选实施例中，用于确定加权指数w的函数是：

w＝(1-skin color index)×s_m.

在本发明的一些实施例中，通过首先将输入像素色彩I₁从第一色彩空间变换到CIE 1931XYZ域，然后再变换到第二色彩空间来获得初始像素色彩I_P，其过程可以用以下函数表示：

其中*是矩阵乘法符号，λ是伽玛参数，具有2.2的典型值，M₁和M₂分别是第一色彩空间和第二色彩空间的3x3变换矩阵，并且

在本发明的各种实施例中，扩展像素色彩I_E可以首先通过将输入像素色彩I₁转换到第二色彩空间的逻辑空间，然后将像素饱和度增加到某个水平来确定。或者如图4所示，第一色彩空间中的输入像素色彩可以直接映射到第二色彩空间中的扩展像素色彩，即I_E＝I₁。如图4所示，第一色彩空间420的色彩空间顶点被直接映射到第二色彩空间410的顶点。

在本发明的一些实施例中，通过将初始像素色彩I_P和扩展像素色彩I_E，与权重指数w相混合来获得输出像素色彩I₂，其混合函数为：

I₂＝w×I_E+(1-w)×I_P；

其中R₂，B₂和G₂分别是输出图像像素的红色，蓝色和绿色值。

用于扩展和增强视频或图像的色域的方法和系统可以在高清晰度电视，移动或个人计算设备(例如“平板”电脑，膝上型电脑和个人电脑)，电话亭，打印机，数码相机，扫描仪或影印机，具有内置或外围电子显示器的用户终端，或能与任何具有内置或外围电子显示器的设备进行数据连接的计算机处理器等设备中实施。并且具有专门配置的图像处理电子设备用来执行机器指令以运行色彩扩展和增强的过程和算法；其中特定配置的图像处理电子设备可以包括一个或多个通用和专用计算设备，包括但不仅限于计算机处理器和电子电路，还包括数字信号处理器(DSP)，专用集成电路(ASIC)，现场可编程门阵列(FPGA)和其他可编程逻辑器件。该方法和系统还可以包括能够存储计算机指令或软件代码的计算机存储介质的使用和各种形式，其可以用于对计算机或微处理器进行编程来执行本发明的任何过程。存储介质包括但不限于软盘，光盘，蓝光光盘，DVD，CD-ROM和磁光盘，ROM，RAM，闪存设备或任何类型的用于存储指令，代码和/或数据的合适的介质或设备。

本发明前面的描述主要为了达到说明和描述的目的。这并不是全面的或将本发明限制于所公开的确切形式。对于本领域技术人员而言，对本专利的诸多修改和变化是不可避免的。

实施例的选择和描述是为了最好地解释本发明的原理及其实际应用，从而使本领域的其他技术人员能够理解本发明的各种实施例以及在特定场合下进行的各种修改。本发明的范围由以下权利要求及其等同物限定。

Claims (10)

1.一种扩展和增强数字图像色域的系统，其用于将属于第一色彩空间的一输入图像的色域扩展为属于第二色彩空间的一输出图像的色域，其中第二色彩空间的色域大于第一色彩空间的色域，其特征在于，所述系统包括：

一彩色图像输入端，用于接收属于第一色彩空间的输入图像并从所述输入图像获取一输入像素色彩I₁；

一饱和度计算器，用于计算所述输入像素色彩的饱和度值s；

一饱和度映射器，用于获得一修改的饱和度值s_m；

一肤色检测器，用于计算所述输入像素色彩的肤色指数；

一权重指数计算器，用于计算所述输入像素色彩的权重指数w；

一色彩空间转换单元，用于将第一色彩空间中的所述输入像素色彩变换为第二色彩空间中的一初始像素色彩I_P；

一色彩空间扩展单元，用于将第一色彩空间中的所述输入像素色彩扩展为第二色彩空间中的一扩展像素色彩I_E；

一色彩混合器，用于混合所述初始像素色彩和所述扩展像素色彩以产生属于第二色彩空间的输出像素色彩I₂；

一彩色图像输出端，用于在所述输入图像中的全部像素色彩被处理之后，生成属于第二色彩空间的一输出图像；

其中，所述输出像素色彩I₂是通过将所述初始像素色彩I_P和所述扩展像素色彩I_E通过由权重指数w控制的混合函数混合而获得；以及

所述权重指数w与所述肤色指数和所述修改的饱和度值s_m相关。

2.跟据权利要求1所述的系统，其特征在于，所述饱和度值s由下式确定：

其中R₁，B₁和G₁分别是输入像素色彩的红色，蓝色和绿色值。

3.根据权利要求1所述的系统，其特征在于，所述修改的饱和度值s_m通过利用非递减凸映射函数将饱和度值s映射获得，其输入范围和输出范围都为0到1。

4.跟据权利要求1所述的系统，其特征在于，所述肤色指数skin color index由下式确定：skin color index＝min(max(min(skin1,skin4,skin5),0),1)；

其中：

skin3＝(G₁)/32；

skin5＝(32-(B₁-G₁))/32；和

R₁，B₁和G₁分别是输入图像的像素的红色，蓝色和绿色值。

5.根据权利要求1所述的系统，其特征在于，所述权重指数w由下式确定：

w＝(1-skin color index)×s_m，

其中s_m是所述修改的饱和度值。

6.根据权利要求1所述的系统，其特征在于，通过首先将输入像素色彩I₁从第一色彩空间变换到CIE 1931 XYZ域，然后再变换到第二色彩空间来获得初始像素色彩I_P，其过程可以用以下函数表示：

其中*是矩阵乘法符号，λ是伽玛参数，M₁和M₂分别是第一色彩空间和第二色彩空间的3x3变换矩阵，并且

7.根据权利要求1所述的系统，其特征在于，所述扩展像素色彩I_E通过首先将所述输入像素色彩I₁转换为所述第二色彩空间的逻辑空间，然后将所述像素饱和度增加至特定水平而获得。

8.根据权利要求1所述的系统，其特征在于，所述扩展像素色彩I_E通过将所述第一色彩空间中的所述输入像素色彩I₁直接映射到所述第二色彩空间而获得。

9.根据权利要求1所述的系统，其特征在于，所述输出像素色彩其中R₂，B₂和G₂分别是所述输出图像的像素的红色，蓝色和绿色值，是通过将初始像素色彩I_P和扩展像素色彩I_E与混合函数混合而获得；以及

所述混合函数为：I_-＝w×I_E+(1-w)×I_P；其中w是权重指数。

10.一种扩展和增强数字图像色域的方法，其用于将属于第一色彩空间的一输入图像的色域扩展为属于第二色彩空间的一输出图像的色域，其中第二色彩空间的色域大于第一色彩空间的色域，其特征在于，所述方法包括：

通过图像处理电子设备接收一输入图像；

图像处理电子设备执行的色彩增强处理包括：

a)从所述输入图像获取一输入像素色彩I₁；

b)计算所述输入像素色彩的饱和度值s；

c)获得一修改的饱和度值s_m；

d)计算所述输入像素色彩的肤色指数；

e)计算所述输入像素色彩的权重指数w；

f)将第一色彩空间中的所述输入像素色彩变换为第二色彩空间中的一初始像素色彩I_P；

g)将第一色彩空间中的所述输入像素色彩扩展为第二色彩空间中的一扩展像素色彩I_E；

h)混合所述初始像素色彩和所述扩展像素色彩以产生属于第二色彩空间的输出像素色彩I₂；以及在色彩增强处理过程中处理完所述输入图像的所有像素色彩之后，由所述图像处理电子设备生成属于第二色彩空间的一输出图像；

其中所述饱和度值s通过以下确定：

其中R₁，B₁和G₁分别是输入像素色彩的红色，蓝色和绿色值；

修改的饱和度值s_m通过利用非递减凸映射函数将饱和度值s映射获得，其输入范围和输出范围都为0到1；

肤色指数skin color index由下式确定：

skin color index＝min(max(min(skin1,skin4,skin5),0),1)；

其中：

skin3＝(G₁)/32；

skin5＝(32-(B₁-G₁))/32；

R₁，B₁和G₁分别是输入图像的像素的红色，蓝色和绿色值；

权重指数w由以下确定：

w＝(1-skin color index)×s_m，

其中s_m是修改的饱和度值；

通过首先将输入像素色彩I₁从第一色彩空间变换到CIE 1931 XYZ域，然后再变换到第二色彩空间来获得初始像素色彩I_P，其过程可以用以下函数表示：

其中*是矩阵乘法符号，λ是伽玛参数，M₁和M₂分别是第一色彩空间和第二色彩空间的3x3变换矩阵，并且

扩展像素色彩I_E通过以下步骤之一获得：

首先将输入像素色彩I₁转换为第二色彩空间的逻辑空间，然后将像素饱和度增加到一定水平；或者

直接将第一色彩空间中的输入像素色彩I₁映射到第二色彩空间；

输出像素色彩，其中R₂，B₂和G₂分别是输出图像像素的红色，蓝色和绿色值，其通过混合初始像素色彩I_P和扩展像素色彩I_E获得，混合函数为：

I₂＝w×I_E+(1-w)×I_P；其中w是权重指数。