CN112019827B

CN112019827B - 视频图像色彩增强的方法、装置、设备及存储介质

Info

Publication number: CN112019827B
Application number: CN202010911211.6A
Authority: CN
Inventors: 唐杰; 张聪聪; 李庆瑜; 戴立言
Original assignee: SHANGHAI WONDERTEK SOFTWARE CO Ltd
Current assignee: SHANGHAI WONDERTEK SOFTWARE CO Ltd
Priority date: 2020-09-02
Filing date: 2020-09-02
Publication date: 2022-01-25
Anticipated expiration: 2040-09-02
Also published as: CN112019827A

Abstract

本发明公开了一种视频图像色彩增强的方法、装置、设备及存储介质，针对传统的色彩增强方法不能解决影视剧复杂多变场景下图像色彩增强的不确定性和鲁棒性的问题，通过FFmpeg对视频进行解码，得到视频图像，将视频图像输入色彩增强网络进行色彩增强操作后，得到色彩增强图像，再利用深度学习模型对色彩增强图像进行细节纹理特征、图像亮度及目标前景等作进一步丰富和改善，提高视频图像的视觉效果，适用于复杂多场景的视频图像处理。

Description

视频图像色彩增强的方法、装置、设备及存储介质

技术领域

本发明属于图像处理的技术领域，尤其涉及一种视频图像色彩增强的方法、装置、设备及存储介质。

背景技术

视频图像就是连续的静态图像的序列，是一种对客观事物更为形象，生动地描述。视频图像处理系统即基于图像处理算法对视频图像进行处理的系统。

在视频处理领域中，主观视觉质量的改善是视频增强的一个主要内容，而色彩增强技术是视频增强的一个重要方面。

传统的色彩增强方法存在以下问题：(1)参数不是针对所有场景都最优，如能提高一个风景场景的图像对比度的曲线参数，对人脸图像序列的视觉效果就有损伤。(2)很难获得更好的颜色再现。因为传统的颜色再现对整个图像的颜色都有影响，不只是对选择的物体的某些颜色。

因此，传统的色彩增强方法不适用于拥有复杂多场景的影视剧的视频图像的处理。

发明内容

本发明的目的是提供一种视频图像色彩增强的方法、装置、设备及存储介质，解决影视剧复杂多变场景下图像色彩增强的不确定性和鲁棒性，同时丰富感兴趣目标细节，提高影视剧的视觉效果。

为解决上述问题，本发明的技术方案为：

一种视频图像色彩增强的方法，包括：

获取一视频数据，对视频数据进行预处理，得到用于深度学习的原始图像；

将原始图像输入色彩增强网络进行色彩增强操作，得到相应的色彩增强图像；

将色彩增强图像输入深度学习模型，处理色彩增强图像的细节纹理特征、图像亮度及目标前景，得到图像处理后的视频数据；所述目标前景是指色彩增强图像中感兴趣的物体。

根据本发明一实施例，所述获取一视频数据，对视频数据进行预处理进一步包括：

获取一HDR视频，采用FFmpeg对HDR视频进行解码，得到一SDR图像及HDR图像对；

将HDR图像输入Mask R-CNN模型中进行目标检测，得到HDR目标图像及mask图像；

将SDR图像作为深度学习的原始图像，将HDR目标图像作为网络监督的色彩增强图像，将mask图像作为目标掩膜图像。

根据本发明一实施例，所述将原始图像输入色彩增强网络进行色彩增强，得到相应的色彩增强图像操作进一步包括：

将SDR图像输入CEnet网络层进行图像分割，得到第一图像数据；

所述第一图像数据经高斯函数模糊处理后，得到第二图像数据；

将第一图像数据与第二图像数据作差，得到差值图像数据；

对差值图像数据作三层卷积后，与mask图像融合，得到色彩增强图像。

根据本发明一实施例，所述将色彩增强图像输入深度学习模型，处理色彩增强图像的细节纹理特征、图像亮度及目标前景进一步包括：

所述深度学习模型采用下列代价函数进行有效的监督学习：

loss_ce＝Σ|y-gt|

loss_detail＝Σ|(y-gassian(y))-(gt-gassian(gt))|

loss_gray＝Σ|rgb2gray(y)-(α*rgb2gray(x)+(1-α)*rgb2gray(gt))|

loss_sohem＝Σget_median(sort(y-gt),0.5)

loss_ohem＝∑(|y-gt|*mask)

其中，loss_ce为RGB色彩空间的代价函数，y为色彩增强图像，gt为HDR目标图像，mask为目标掩膜图像，loss_detail为图像细节分量的代价函数，gassian()为高斯函数，loss_gray为灰度空间的代价函数，rgb2gray()为彩色图像转化成灰度图像函数，α为灰度系数，loss_sohem为图像差异的代价函数，get_median()为中位数获取函数，sort()为排序函数，loss_ohem为图像前景的代价函数。

根据本发明一实施例，所述高斯函数为GassianBlur5x5。

一种视频图像色彩增强的装置，包括：

图像获取模块，用于获取一视频数据，对视频数据进行预处理，得到用于深度学习的原始图像；

色彩增强模块，用于将原始图像输入色彩增强网络进行色彩增强操作，得到相应的色彩增强图像；

图像训练模块，用于将色彩增强图像输入深度学习模型，处理色彩增强图像的细节纹理特征、图像亮度及目标前景，得到图像处理后的视频数据；所述目标前景是指色彩增强图像中感兴趣的物体。

一种视频图像色彩增强的设备，包括：

存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述视频图像色彩增强的设备执行本发明一实施例中的视频图像色彩增强的方法。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明一实施例中的视频图像色彩增强的方法。

本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：

本发明一实施例中的视频图像色彩增强的方法，针对传统的色彩增强方法不能解决影视剧复杂多变场景下图像色彩增强的不确定性和鲁棒性的问题，通过FFmpeg对视频进行解码，得到视频图像，将视频图像输入色彩增强网络进行色彩增强操作后，得到色彩增强图像，再利用深度学习模型对色彩增强图像进行细节纹理特征、图像亮度及目标前景等作进一步丰富和改善，提高视频图像的视觉效果，适用于复杂多场景的视频图像处理。

附图说明

图1为本发明一实施例中的视频图像色彩增强的方法流图；

图2为本发明一实施例中的色彩增强网络的训练样本图；

图3为本发明一实施例中的色彩增强网络的示意图；

图4为本发明一实施例中的深度学习模型示意图；

图5为本发明一实施例中的视频图像色彩增强的装置框图；

图6为本发明一实施例中的视频图像色彩增强的设备示意图。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种视频图像色彩增强的方法、装置、设备及存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。

实施例一

本实施例针对传统的色彩增强方法不能解决影视剧复杂多变场景下图像色彩增强的不确定性和鲁棒性的问题，提出了一种视频图像色彩增强的方法。请参看图1，该视频图像色彩增强的方法包括：

步骤S1：获取一视频数据，对视频数据进行预处理，得到用于深度学习的原始图像。

本实施例以HDR(High Dynamic Range，高动态范围)影视剧视频作为模型训练数据，也就是说，在步骤S1中，获取的视频数据为HDR视频文件。采用FFmpeg多媒体处理工具将HDR视频文件解码成一帧帧视频图像，将每一帧视频图像处理成SDR(Standard DynamicRange，标准动态范围)图像及HDR图像对。

FFmpeg是现有的一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。使用FFmpeg可以轻松完成将视频解码成一帧帧视频图像及将HDR图像转码成SDR图像。

然后将HDR图像输入Mask R-CNN模型提取图像特征，得到感兴趣的HDR目标图像及mask图像，并将HDR目标图像及mask图像保存为256*256的RGB图像。

HDR视频经过上述处理后，得到后续用于深度学习的训练数据，请参看图2：左图为SDR图像、中图为HDR目标图像及右图mask图像。将SDR图像作为深度学习的原始图像，将HDR目标图像作为网络监督的色彩增强图像，将mask图像作为目标掩膜图像。为了遵守相关规定，图2中的图像是灰度图像，看不出色彩，但是在实际应用中，图2中的图像应该是彩色图像。

步骤S2：将原始图像输入色彩增强网络进行色彩增强操作，得到相应的色彩增强图像。

具体的，本实施例中的色彩增强网络，如图3所示。将SDR图像(即图3中的x)输入CEnet网络层进行图像分割，得到第一图像数据y0；该第一图像数据y0经高斯函数GassianBlur5x5模糊处理后，得到第二图像数据y1；将第一图像数据y0与第二图像数据y1作差，得到差值图像数据；对差值图像数据作三层卷积后，与mask图像融合，得到色彩增强图像y。其中，CEnet是输入输出维度相同的网络层，主要用于图像分割。在进行图像分割时，采用ResNet进行图像的特征提取。

步骤S3：将色彩增强图像输入深度学习模型，处理色彩增强图像的细节纹理特征、图像亮度及目标前景，得到图像处理后的视频数据；该目标前景是指色彩增强图像中感兴趣的物体。

由于步骤S2得到的色彩增强图像在细节纹理特征、图像亮度及目标前景等方面不够完善，需要作进一步的改善。如图4所示，在步骤S3中，该深度学习模型采用下列代价函数进行有效的监督学习：

loss_ce＝∑|y-gt|

loss_detail＝Σ|(y-gassian(y))-(gt-gassian(gt))|

loss_gray＝Σ|rgb2gray(y)-(α*rgb2gray(x)+(1-α)*rgb2gray(gt))|

loss_sohem＝∑get_median(sort(|y-gt|),0.5)

loss_ohem＝∑(|y-gt|*mask)

上述，RGB色彩空间的代价函数loss_ce主要学习色彩映射关系，有利于色彩增强的学习。图像细节分量的代价函数loss_detail主要学习图像的细节或者纹理特征，有利于图像保持细节和纹理的清晰。灰度空间的代价函数loss_gray在灰度空间限制图像亮度，解决学习过程种图像过曝问题。图像差异的代价函数loss_sohem使深度学习模型更倾向于学习与gt相差较大的图像区域。图像前景的代价函数loss_ohem使深度学习模型更倾向于学习样本中的目标前景(如一幅图像里面的人、车、猫、狗等等人们最常关注的物体)，更多关注目标前景的色彩增强。

实际应用中，对影视剧的视频图像的色彩增强处理，可先通过FFmpeg视频解码成一帧帧图像，将每帧图像输入色彩增强的深度学习模型中，输出对应的色彩增强图像，再通过FFmpeg进行编码，得到色彩增强后的视频文件，供用户进行观赏。

通过上述视频图像色彩增强的方法，在图像色彩增强的同时，对图像细节进行有效的补偿，使该方法具有很好的鲁棒性，提高视频的视觉效果，适用于复杂场景下的影视剧视频图像处理。而且，支持该视频图像色彩增强的方法的运行所消耗的资源较少，如对于2k视频，处理一帧视频图像只要200ms，消耗显存934MB。

实施例二

本发明还提供了一种视频图像色彩增强的装置，请参看图5，该装置包括：

图像获取模块1，用于获取一视频数据，对视频数据进行预处理，得到用于深度学习的原始图像；

色彩增强模块2，用于将原始图像输入色彩增强网络进行色彩增强操作，得到相应的色彩增强图像；

图像训练模块3，用于将色彩增强图像输入深度学习模型，处理色彩增强图像的细节纹理特征、图像亮度及目标前景，得到图像处理后的视频数据；该目标前景是指色彩增强图像中感兴趣的物体。

上述图像获取模块1、色彩增强模块2及图像训练模块3的具体内容及实现方法，均如实施例一中所述，在此不再赘述。

实施例三

上述实施例二从模块化功能实体的角度对本发明视频图像色彩增强的装置进行详细描述，下面从硬件处理的角度对本发明视频图像色彩增强的设备进行详细描述。

请参看图6，该视频图像色彩增强的设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对视频图像色彩增强的设备500中的一系列指令操作。

进一步地，处理器510可以设置为与存储介质530通信，在视频图像色彩增强的设备500上执行存储介质530中的一系列指令操作。

视频图像色彩增强的设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve、Vista等等。

本领域技术人员可以理解，图6示出的视频图像色彩增强的设备结构并不构成对视频图像色彩增强的设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中的视频图像色彩增强的方法的步骤。

实施例二中的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-only memory，ROM)、随机存取存储器(Random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。

Claims

1.一种视频图像色彩增强的方法，其特征在于，包括：

将SDR图像作为深度学习的原始图像，将HDR目标图像作为网络监督的色彩增强图像，将mask图像作为目标掩膜图像；

将第一图像数据与第二图像数据作差，得到差值图像数据；

对差值图像数据作三层卷积后，与mask图像融合，得到色彩增强图像；将所述色彩增强图像输入深度学习模型，处理色彩增强图像的细节纹理特征、图像亮度及目标前景，得到图像处理后的视频数据；

所述深度学习模型采用下列代价函数进行有效的监督学习：

loss_ce＝∑|y-gt|

loss_detail＝∑|(y-gassian(y))-(gt-gassian(gt))|

loss_gray＝∑|rgb2gray(y)-(α*rgb2gray(x)+(1-α)*rgb2gray(gt))|

loss_sohem＝∑get_median(sort(|y-gt|),0.5)

loss_ohem＝∑(|y-gt|*mask)

其中，loss_ce为RGB色彩空间的代价函数，x为SDR图像，y为色彩增强图像，gt为HDR目标图像，mask为目标掩膜图像，loss_detail为图像细节分量的代价函数，gassian()为高斯函数，loss_gray为灰度空间的代价函数，rgb2gray()为彩色图像转化成灰度图像函数，α为灰度系数，loss_sohem为图像差异的代价函数，get_median()为中位数获取函数，sort()为排序函数，loss_ohem为图像前景的代价函数。

2.如权利要求1所述的视频图像色彩增强的方法，其特征在于，所述高斯函数为GassianBlur5x5。

3.一种视频图像色彩增强的装置，其特征在于，包括：

图像获取模块，用于获取一HDR视频，采用FFmpeg对HDR视频进行解码，得到一SDR图像及HDR图像对；将HDR图像输入Mask R-CNN模型中进行目标检测，得到HDR目标图像及mask图像；将SDR图像作为深度学习的原始图像，将HDR目标图像作为网络监督的色彩增强图像，将mask图像作为目标掩膜图像；

色彩增强模块，用于将SDR图像输入CEnet网络层进行图像分割，得到第一图像数据；

将第一图像数据与第二图像数据作差，得到差值图像数据；

对差值图像数据作三层卷积后，与mask图像融合，得到色彩增强图像；

图像训练模块，用于将色彩增强图像输入深度学习模型，处理色彩增强图像的细节纹理特征、图像亮度及目标前景，得到图像处理后的视频数据；所述目标前景是指色彩增强图像中感兴趣的物体；所述深度学习模型采用下列代价函数进行有效的监督学习：

loss_ce＝∑|y-gt|

loss_detail＝∑|(y-gassian(y))-(gt-gassian(gt))|

loss_gray＝∑|rgb2gray(y)-(α*rgb2gray(x)+(1-α)*rgb2gray(gt))|

loss_sohem＝∑get_median(sort(|y-gt|),0.5)

loss_ohem＝∑(|y-gt|*mask)

4.一种视频图像色彩增强的设备，其特征在于，包括：

所述至少一个处理器调用所述存储器中的所述指令，以使得所述视频图像色彩增强的设备执行如权利要求1或2所述的视频图像色彩增强的方法。

5.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1或2所述的视频图像色彩增强的方法。