CN117499558A - 一种视频图像优化处理方法及装置 - Google Patents

Abstract

本发明提供一种视频图像优化处理方法及装置。所述方法包括以下步骤：将输入的视频图像转换成图像帧序列；对每帧图像进行强光抑制处理，得到图像I₁；对每帧图像I₁进行降噪处理，得到图像I₂；对每帧图像I₂进行分辨率增强处理，得到图像I₃；将由图像I₃组成的帧序列转换成视频图像。本发明通过对图像先后进行图像强光抑制、图像降噪和图像分辨率增强处理，有效提高了输入视频图像的质量。

Description

一种视频图像优化处理方法及装置

技术领域

本发明属于图像处理技术领域，具体涉及一种视频图像优化处理方法及装置。

背景技术

视频图像是连续的静态图像序列，是一种对客观事物更为形象、生动地描述。很多场景下视频图像的质量并不理想，比如车载摄像头由于晃动导致图像模糊、图像清晰度不够；图像数据采集或传输过程中存在噪声、夜间存在路灯、车灯等较明亮光线的干扰等，也会导致视频图像的质量下降。因此通过对视频图像优化处理以提升图像质量显得尤为重要。

常用的图像优化处理技术包括强光抑制技术、图像降噪技术和分辨率增强技术。强光抑制技术用于消除由于强烈光照造成的过曝现象对图像质量的影响。过曝是指在摄影或图像处理中，由于光照过强，导致图像中某些区域亮度值过高，丢失了细节信息。一般采用双边滤波算法、基于梯度域重建的算法、Retinex算法、基于灰度梯度的算法解决图像中某些区域亮度值过高的问题。图像降噪技术主要用于消除图像中的噪声，一般采用数字滤波、图像增强、多尺度处理、非局部均值等技术消除图像中的噪声。除此之外，还有一些深度学习技术，如卷积神经网络，可以用来进行图像降噪，其效果更加出色，且可以得到更多的有用信息。分辨率增强技术主要用于从低分辨率图像中恢复出高分辨率图像，使图像更加清晰。通常采用基于滤波、图像分割、多尺度处理、非局部均值等技术。近年来，人们将深度学习技术应用于分辨率增强技术，取得了较好的图像质量优化效果。

上述图像优化处理技术虽然都有其独特的优势和适用场景，但效果都不够理想。为此，本发明提出一种视频图像优化处理方法，综合利用上述三种技术提高视频图像的质量。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种视频图像优化处理方法及装置。

为了实现上述目的，本发明采用以下技术方案。

第一方面，本发明提供一种视频图像优化处理方法，包括以下步骤：

将输入的视频图像转换成图像帧序列；

对每帧图像进行强光抑制处理，得到图像I₁；

对每帧图像I₁进行降噪处理，得到图像I₂；

对每帧图像I₂进行分辨率增强处理，得到图像I₃；

将由图像I₃组成的帧序列转换成视频图像。

进一步地，所述对每帧图像进行强光抑制处理，包括：

获取每帧图像的每个像素点的亮度值；

若像素点的亮度值大于设定的第一阈值，则减小所述像素点的亮度值；否则，所述像素点的亮度值不变

更进一步地，所述对每帧图像进行强光抑制处理，还包括：

若像素点的亮度值小于设定的第二阈值，则增大所述像素点的亮度值，其中，第一阈值大于第二阈值。

更进一步地，对每个像素点的亮度值按下式进行处理：

式中，Y、Y′分别为处理前、后像素点的亮度值，Y₁、Y₂分别为第一阈值和第二阈值。

进一步地，所述对每帧图像I₁进行降噪处理，包括：

采用多阶段体系结构模型MPRNet构建图像降噪模型，所述图像降噪模型通过逐步学习图像上下文的恢复特征，并将复杂图像的恢复步骤分解成多个子任务，逐步恢复各个子任务的图像。

更进一步地，对图像降噪模型进行训练时的损失函数为：

式中，Loss为损失函数，X_i为第i个子任务恢复的图像，Y为真实图像，L₁为沙博尼耶损失，L₂为边缘损失，μ、ε为常数，Δ为拉普拉斯算子，||||²为L2范数运算符，i＝1,2,…,n，n为子任务的数量。

进一步地，在对每帧图像I₁进行降噪处理前，还包括：对每帧图像I₁进行噪声估计，若某帧图像的噪声估计值大于设定的阈值，则对该帧图像进行降噪处理；否则，不对该帧图像进行降噪处理，直接对该帧图像进行分辨率增强处理。

更进一步地，对图像进行噪声估计的方法包括：

将图像分成大小相等的N个图像块；

计算每个图像块的协方差矩阵的特征值，计算所有特征值的最小值得到该图像块的噪声估计值；

计算N个图像块的噪声估计值的平均值，得到图像的噪声估计值，计算公式为：

式中，为图像的噪声估计值，σ_i为第i个图像块的噪声估计值，i＝1,2,…,N。

进一步地，所述对每帧图像I₂进行分辨率增强处理，包括：

采用超分辨率模型Real-ESRGAN构建分辨率增强模型，所述分辨率增强模型通过卷积核估计和噪声注入还原图像细节和增加模型的鲁棒性；所述图像质量增强模型基于图像修复算法实现图像质量增强处理，在训练部分，模拟高分辨率图像退化成低分辨率图像的过程；在推理部分，利用低分辨率图像推导、计算出高分辨率图像；退化过程用模型表示为：

y＝F(x)＝[D(x*k)+ξ]_JPEG (6)

式中，F为退化模型，x为高分辨率图像，y为退化后的低分辨率图像，*表示卷积操作，k为模糊核，D表示降采样过程，ξ为随机附加噪声，[]_JPEG表示对图像进行JPEG压缩处理。

第二方面，本发明提供一种视频图像优化处理装置，包括：

视频切帧模块，用于将输入的视频图像转换成图像帧序列；

强光抑制模块，用于对每帧图像进行强光抑制处理，得到图像I₁；

降噪处理模块，用于对每帧图像I₁进行降噪处理，得到图像I₂；

分辨率增强模块，用于对每帧图像I₂进行分辨率增强处理，得到图像I₃；

视频合成模块，用于将由图像I₃组成的帧序列转换成视频图像。

与现有技术相比，本发明具有以下有益效果。

本发明通过将输入的视频图像转换成图像帧序列，对每帧图像进行强光抑制处理，得到图像I₁，对每帧图像I₁进行降噪处理，得到图像I₂，对每帧图像I₂进行分辨率增强处理，得到图像I₃，将由图像I₃组成的帧序列转换成视频图像，实现了视频图像优化处理。本发明通过对图像先后进行强光抑制、降噪和分辨率增强处理，有效提高了输入视频图像的质量。

附图说明

图1为本发明实施例一种视频图像优化处理方法的流程图。

图2为图像降噪模型的结构示意图。

图3为本发明实施例一种视频图像优化处理装置的方框图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例一种视频图像优化处理方法的流程图，包括以下步骤：

步骤101，将输入的视频图像转换成图像帧序列；

步骤102，对每帧图像进行强光抑制处理，得到图像I₁；

步骤103，对每帧图像I₁进行降噪处理，得到图像I₂；

步骤104，对每帧图像I₂进行分辨率增强处理，得到图像I₃；

步骤105，将由图像I₃组成的帧序列转换成视频图像。

本实施例中，步骤101主要用于对视频图像进行切帧处理。视频切帧是一种将视频流分解成一帧一帧图像的处理方式，被广泛应用于视频编辑、压缩、传输等领域。视频切帧处理需要从视频中提取出连续的帧图像，再将这些帧图像进行后续的处理。视频切帧的实现方法如下：视频分辨率一般是1080像素，使用视频解码器将由摄像头拍摄的视频图像转换为帧序列，帧率设置在23～30帧/秒之间；在帧率设置后，调用视频解码器的函数捕获视频中的每一帧图像的像素值、位置信息及其他信息。当捕获视频帧后，可将所有已捕获的帧保存至硬盘中，待下次读取使用；重复以上步骤，处理下一帧，直至最后一帧完成。

本实施例中，步骤102主要用于对图像进行强光抑制处理。在有些应用场景进行视频图像拍摄时，经常遇到强光干扰。比如在施工现场的夜间场景下拍摄时，可能会因为路灯、车灯等强光源的照射而产生局部过曝的视频流。因此，需采用图像强光抑制技术对视频流进行强光抑制处理。图像强光抑制技术是指利用数字信号处理算法对图像信号中的像素点的亮度值进行调整，将图像信号中的亮度值高的强光部分抑制，从而实现明暗光线平衡的效果，避免出现图像过曝。

本实施例中，步骤103主要用于对强光抑制处理后的图像进行降噪处理。图像数据可能因拍摄设备本身存在的缺陷或信号传输过程中存在干扰而夹带噪声，使图像质量下降。因此需要对图像进行降噪处理。现有的图像处理降噪技术大多采用较为简单的算法进行图像的降噪处理，如线性滤波(例如高斯平滑滤波、帧叠加法)、非线性滤波(例如均值滤波、中值滤波、高斯滤波、双边滤波)以及频域滤波(例如理想低通滤波、巴特沃斯滤波)等，这些滤波方法的降噪效果各有优劣，针对不同的环境，可选择的算法则不同。本实施例对具体的降噪方案不作限定。

本实施例中，步骤104主要用于对降噪处理后的图像进行分辨率增强处理。图像分辨率增强处理是一种将图像由低分辨率转化为高分辨率、提升图像的清晰度和图像质量的技术，主要用于从低分辨率图像中恢复出高分辨率图像，使得图像更加清晰。通常利用多种计算机技术提高图像分辨率，如基于深度学习的方法，以及基于滤波、图像分割、多尺度处理、非局部均值等技术。本实施例对具体的分辨率增强方案不作限定。

本实施例中，步骤105主要用于将优化处理后的图像帧序列转换成视频图像。步骤105是步骤101视频切帧的逆操作，采用多帧合成视频技术将批量的图像帧合成为视频流作为最终的输出。多帧连续图像合成高帧率视频是指通过将多帧连续图像进行合成，达到提高视频播放流畅度的一种技术。其原理是将多帧图像进行叠加，提高视频帧率。实现的步骤如下：首先，收集一组连续的图像帧；其次，选定目标帧率，一般帧率置在23～30帧/秒之间；接着，对所选择的图像帧进行处理，通过调用Python的图像处理库函数对图像进行裁剪和位置偏移量的设定，调整图像帧在合成视频中的大小和位置；最后，将处理后的图像帧按照选定的帧率和时序进行合成并导出。

作为一可选实施例，所述对每帧图像进行强光抑制处理，包括：

获取每帧图像的每个像素点的亮度值；

若像素点的亮度值大于设定的第一阈值，则减小所述像素点的亮度值；否则，所述像素点的亮度值不变。

本实施例给出了进行强光抑制处理的一种技术方案。本实施例基于每帧图像的每个像素点的亮度值进行处理，先获取每帧图像的每个像素点的亮度值，然后将所述亮度值与设定的第一阈值进行比较，若所述亮度值大于第一阈值，就认为是受到了强光干扰，则减小所述像素点的亮度值，使所述亮度值不超过第一阈值；否则，保持所述亮度值不变。

作为一可选实施例，所述对每帧图像进行强光抑制处理，还包括：

若像素点的亮度值小于设定的第二阈值，则增大所述像素点的亮度值，其中，第一阈值大于第二阈值。

本实施例是上一实施例的一种改进方案。本实施例不仅对强光进行抑制，还要对弱光进行增强。本实施例同样是基于每帧图像的每个像素点的亮度值进行处理，将像素点的亮度值与设定的第二阈值进行比较，若所述亮度值小于第二阈值，就认为图像亮度过低，则增大所述像素点的亮度值；否则，保持所述亮度值不变。

作为一可选实施例，对每个像素点的亮度值按下式进行处理：

式中，Y、Y′分别为处理前、后像素点的亮度值，Y₁、Y₂分别为第一阈值和第二阈值。

本实施例给出了进行强光抑制和弱光增强处理的一种量化模型。具体表达式如(1)式。(1)式为一个以处理前像素亮度值Y为自变量、以处理后像素亮度值Y′为因变量的分段函数，将自变量Y的取值范围划分为3个区域，3个区域的分界点为第一阈值Y₁和第二阈值Y₂。第一个区域Y<Y₂，为弱光区域，Y值增大——乘一个大于1的因子；第二区域Y₂≤Y≤Y₁，为正常区域，亮度值不变；第三区域Y>Y₁，为强光区域，Y值减小——乘一个小于1的因子。

作为一可选实施例，所述对每帧图像I₁进行降噪处理，包括：

采用多阶段体系结构模型MPRNet构建图像降噪模型，所述图像降噪模型通过逐步学习图像上下文的恢复特征，并将复杂图像的恢复步骤分解成多个子任务，逐步恢复各个子任务的图像。

本实施例给出了图像降噪处理的一种技术方案。本实施例通过采用多阶段体系结构模型MPRNet构建图像降噪模型对输入的图像进行像降噪处理。MPRNet模型是一个多阶段体系结构，通过该体系结构逐步学习图像上下文的恢复特征，并将复杂图像的恢复步骤分解成各个子任务，逐步恢复各个子任务的图像，在最后阶段，使用图像原分辨率进行操作以保留更多的图像原始细节。如图2所示，MPRNet模型的工作包括以下3个阶段(即3个子任务)。

阶段1：先将原始DR图像输入到卷积层和通道注意力块中，实现对原始图像的特征提取，再将该阶段的特征提取结果传入U-Net网络中。在该网络中，模型进一步在多个尺度上提取图像特征，并通过双线性上采样和一个卷积层处理这些特征，提高其空间分辨率。

阶段2：先将原始DR图像输入到卷积层和通道注意力块中，实现对原始图像的特征提取，接着将提取结果与阶段1的特征图进行融合(这样处理可以保留每一层的信息，丰富图像特征)，再将该阶段的特征提取结果传入U-Net网络中。在该网络中，模型进一步在多个尺度上提取图像特征，并通过双线性上采样和一个卷积层处理这些特征，提高其空间分辨率。值得说明的是，阶段1和阶段2的U-Net网络层共享了网络参数，目的是减少参数的使用。

阶段3：将原始特征提取结果和阶段2的特征结果进行融合，传入原始分辨率子网络中。该网络包括多个原始分辨率块，由这些块生成空间丰富的高分辨率特征，使图像细节得以清晰地保留。

在阶段1和阶段2之间、阶段2和阶段3之间均加入了一个监督注意力块，目的是在将特征传入下一阶段前对特征进行细化。

作为一可选实施例，对图像降噪模型进行训练时的损失函数为：

式中，Loss为损失函数，X_i为第i个子任务恢复的图像，Y为真实图像，L₁为沙博尼耶损失，L₂为边缘损失，μ、ε为常数，Δ为拉普拉斯算子，||||²为L2范数运算符，i＝1,2,…,n，n为子任务的数量。

本实施例给出了训练图像降噪模型的损失函数。损失函数Loss等于每个恢复图像子任务(阶段)损失函数的和，每个子任务的损失函数又包括沙博尼耶损失L₁和边缘损失L₂两部分。损失函数Loss、L₁和L₂的具体表达式如式(2)～(4)所示。

作为一可选实施例，在对每帧图像I₁进行降噪处理前，还包括：对每帧图像I₁进行噪声估计，若某帧图像的噪声估计值大于设定的阈值，则对该帧图像进行降噪处理；否则，不对该帧图像进行降噪处理，直接对该帧图像进行分辨率增强处理。

本实施例给出了一种自动判断是否进行降噪处理的一种技术方案。在实际应用中，有些场景获得的视频图像中噪声信号较强，需要进行降噪处理；有些场景获得的视频图像中噪声信号较弱，为减轻数据处理负担，可不经降噪处理直接进行质量增强处理。为此，本实施例设计了一种自动判定策略，先对输入图像进行噪声估计得到噪声估计值，然后将所述噪声估计值与设定的阈值进行比较，如果噪声估计值大于设定的阈值，则将所述图像输入到图像降噪模型，进行降噪处理；否则，跳过图像降噪模型，不对该帧图像进行降噪处理，直接对该帧图像进行分辨率增强处理。

作为一可选实施例，对图像进行噪声估计的方法包括：

将图像分成大小相等的N个图像块；

计算每个图像块的协方差矩阵的特征值，计算所有特征值的最小值得到该图像块的噪声估计值；

计算N个图像块的噪声估计值的平均值，得到图像的噪声估计值，计算公式为：

式中，σ为图像的噪声估计值，σ_i为第i个图像块的噪声估计值，i＝1,2,…,N。

本实施例给出了进行噪声估计的一种技术方案。本实施例首先基于图像块的思想，把输入图像均分成多个小图像块。具体方法是以像素为单位定义小图像块的大小，比如可设定为100像素×100像素的大小；然后通过求每个小图像块的协方差矩阵的最小特征值，得到每个小图像块的噪声估计值；最后计算各个小图像块的噪声估计值的算术平均值，得到输入图像的噪声估计值。计算公式如(5)式。

作为一可选实施例，所述对每帧图像I₂进行分辨率增强处理，包括：

采用超分辨率模型Real-ESRGAN构建分辨率增强模型，所述分辨率增强模型通过卷积核估计和噪声注入还原图像细节和增加模型的鲁棒性；所述图像质量增强模型基于图像修复算法实现图像质量增强处理，在训练部分，模拟高分辨率图像退化成低分辨率图像的过程；在推理部分，利用低分辨率图像推导、计算出高分辨率图像；退化过程用模型表示为：

y＝F(x)＝[D(x*k)+ξ]_JPEG (6)

式中，F为退化模型，x为高分辨率图像，y为退化后的低分辨率图像，*表示卷积操作，k为模糊核，D表示降采样过程，ξ为随机附加噪声，[]JPEG表示对图像进行JPEG压缩处理。

本实施例给出了图像分辨率增强处理的一种技术方案。本实施例通过采用超分辨率模型Real-ESRGAN构建分辨率增强模型，对图像进行分辨率增强处理。Real-ESRGAN模型使用了卷积核估计与噪声注入，前者可以还原图像的细节，后者可以增加模型的鲁棒性，使得模型具有更高的图像重建质量和更好的视觉效果。在理解该模型的原理时，可以视其为一个图像修复算法，在训练部分，它模拟高分辨率图像退化成低分辨率图像的过程，退化过程可用(6)式所示的模型表示；在推理部分，利用低分辨率图像推导、计算出高分辨率图像。

图3为本发明实施例一种视频图像优化处理装置的组成示意图，所述装置包括：

视频切帧模块11，用于将输入的视频图像转换成图像帧序列；

强光抑制模块12，用于对每帧图像进行强光抑制处理，得到图像I₁；

降噪处理模块13，用于对每帧图像I₁进行降噪处理，得到图像I₂；

分辨率增强模块14，用于对每帧图像I₂进行分辨率增强处理，得到图像I₃；

视频合成模块15，用于将由图像I₃组成的帧序列转换成视频图像。

本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种视频图像优化处理方法，其特征在于，包括以下步骤：

将输入的视频图像转换成图像帧序列；

对每帧图像进行强光抑制处理，得到图像I₁；

对每帧图像I₁进行降噪处理，得到图像I₂；

对每帧图像I₂进行分辨率增强处理，得到图像I₃；

将由图像I₃组成的帧序列转换成视频图像。

2.根据权利要求1所述的视频图像优化处理方法，其特征在于，所述对每帧图像进行强光抑制处理，包括：

获取每帧图像的每个像素点的亮度值；

若像素点的亮度值大于设定的第一阈值，则减小所述像素点的亮度值；否则，所述像素点的亮度值不变。

3.根据权利要求2所述的视频图像优化处理方法，其特征在于，所述对每帧图像进行强光抑制处理，还包括：

若像素点的亮度值小于设定的第二阈值，则增大所述像素点的亮度值，其中，第一阈值大于第二阈值。

4.根据权利要求3所述的视频图像优化处理方法，其特征在于，对每个像素点的亮度值按下式进行处理：

式中，Y、Y′分别为处理前、后像素点的亮度值，Y₁、Y₂分别为第一阈值和第二阈值。

5.根据权利要求1所述的视频图像优化处理方法，其特征在于，所述对每帧图像I₁进行降噪处理，包括：

采用多阶段体系结构模型MPRNet构建图像降噪模型，所述图像降噪模型通过逐步学习图像上下文的恢复特征，并将复杂图像的恢复步骤分解成多个子任务，逐步恢复各个子任务的图像。

6.根据权利要求5所述的视频图像优化处理方法，其特征在于，对图像降噪模型进行训练时的损失函数为：

式中，Loss为损失函数，X_i为第i个子任务恢复的图像，Y为真实图像，L₁为沙博尼耶损失，L₂为边缘损失，μ、ε为常数，Δ为拉普拉斯算子，|| ||²为L2范数运算符，i＝1,2,…,n，n为子任务的数量。

7.根据权利要求1所述的视频图像优化处理方法，其特征在于，在对每帧图像I₁进行降噪处理前，还包括：对每帧图像I₁进行噪声估计，若某帧图像的噪声估计值大于设定的阈值，则对该帧图像进行降噪处理；否则，不对该帧图像进行降噪处理，直接对该帧图像进行分辨率增强处理。

8.根据权利要求7所述的视频图像优化处理方法，其特征在于，对图像进行噪声估计的方法包括：

将图像分成大小相等的N个图像块；

计算每个图像块的协方差矩阵的特征值，计算所有特征值的最小值得到该图像块的噪声估计值；

计算N个图像块的噪声估计值的平均值，得到图像的噪声估计值，计算公式为：

式中，为图像的噪声估计值，σ_i为第i个图像块的噪声估计值，i＝1,2,…,N。

9.根据权利要求1所述的视频图像优化处理方法，其特征在于，所述对每帧图像I₂进行分辨率增强处理，包括：

采用超分辨率模型Real-ESRGAN构建分辨率增强模型，所述分辨率增强模型通过卷积核估计和噪声注入还原图像细节和增加模型的鲁棒性；所述图像质量增强模型基于图像修复算法实现图像质量增强处理，在训练部分，模拟高分辨率图像退化成低分辨率图像的过程；在推理部分，利用低分辨率图像推导、计算出高分辨率图像；退化过程用模型表示为：

y＝F(x)＝[D(x*k)+ξ]_JPEG (6)

式中，F为退化模型，x为高分辨率图像，y为退化后的低分辨率图像，*表示卷积操作，k为模糊核，D表示降采样过程，ξ为随机附加噪声，[]_JPEG表示对图像进行JPEG压缩处理。

10.一种视频图像优化处理装置，其特征在于，包括：

视频切帧模块，用于将输入的视频图像转换成图像帧序列；

强光抑制模块，用于对每帧图像进行强光抑制处理，得到图像I₁；

降噪处理模块，用于对每帧图像I₁进行降噪处理，得到图像I₂；

分辨率增强模块，用于对每帧图像I₂进行分辨率增强处理，得到图像I₃；

视频合成模块，用于将由图像I₃组成的帧序列转换成视频图像。