CN114913099A - 视频文件处理的方法和系统 - Google Patents

Abstract

本发明提供了视频文件处理方法和系统，其中方法包括：对所述视频文件进行抽帧以获取待处理的图像帧；确定所述图像帧的画面复杂度；基于所述画面复杂度确定双边滤波参数；以及使用所述双边滤波参数对所述图像帧进行双边滤波。

Description

视频文件处理的方法和系统

技术领域

本发明涉及视频编码领域，更具体地，涉及使用双边滤波来优化视频画质的方法和系统。

背景技术

视频往往需要通过处理来提升画质，特别是低码率视频通常都包含很多噪音，因此在播放器渲染画面之前，可以对视频进行画质提升。另外，在编码器在编码之前，也可以对视频帧进行画质提升。

现有的画质提升的方法往往是通过各种滤波器来实现的，比如高斯模糊、中值滤波、双边滤波等等。在常用的各种滤波器中，进行画面优化往往使用的是双边滤波。双边滤波是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折中处理，同时考虑空域信息和灰度相似性，以达到保持边缘、降噪平滑的目的，其具有简单、非迭代、局部的特点。双边滤波器的好处是可以做边缘保存，这就很符合画面优化的期待。所以很多现有技术都是使用双边滤波算法进行画面优化，比如人物皮肤磨皮等。

双边滤波bilateralFilter函数中具有几个重要的参数：sigmaColor(颜色空间参数)，颜色空间中滤波器的sigma值，这个参数的值越大，就表明该像素邻域内有更宽广的颜色会被混合到一起，产生较大的半相等颜色区域。sigmaSpace(坐标空间参数)，坐标空间中滤波器的sigma值，即坐标空间的标注方差，这个参数的数值越大，意味着越远的像素会相互影响，从而使更大的区域足够相似的颜色获取相同的颜色。d(像素邻域参数)，用于确认参数像素范围，当d>0，d指定了邻域大小且与sigmaSpace无关；否则，d正比于sigmaSpace。当前d往往是设置一个固定的值，这样在不同场景情况下，效果不尽人意。

发明内容

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

为解决上述问题，本发明提出了一种视频文件处理的方法和系统，通过动态确定双边滤波bilateralFilter函数中的参数，实现了提升画质的目的。

同时，本发明可以应用于诸多领域，诸如可以在对视频进行编码处理前对于内容进行去噪预处理，从而实时对视频的优化，提升内容显示。

根据本发明的一个方面，提供了一种视频文件处理方法，包括：

对所述视频文件进行抽帧以获取待处理的图像帧；

确定所述图像帧的画面复杂度；

基于所述画面复杂度确定双边滤波参数；以及

使用所述双边滤波参数对所述图像帧进行双边滤波。

根据本发明的一个实施例，确定所述图像帧的画面复杂度包括：

使用Canny边缘检测函数来标识所述图像帧的边缘，并生成灰度图像；

对所述灰度图像进行二值化处理以生成二值化图像，所述二值化图像具有所标识的边缘像素点；以及

基于所述二值化图像的所述边缘像素点数和所述二值化图像的总像素点数来计算像素比值，其中所述像素比值被用来确定所述图像帧的画面复杂度。

根据本发明的另一实施例，基于所述像素比值来确定所述图像帧的画面复杂度进一步包括：

对所述像素比值进行阈值化处理，其中当所述像素比值大于上阈值时，取所述上阈值为所述像素比值，当所述像素比值小于下阈值时，取所述下阈值为所述像素比值。

根据本发明的又一实施例，所述上阈值为0.25，并且所述下阈值为0.05。

根据本发明的又一实施例，在所述Canny边缘检测函数中，参数“边缘阈值上限”为58，并且参数“边缘阈值下限”为8。

根据本发明的又一实施例，基于所述画面复杂度确定双边滤波参数包括：

将所述画面复杂度进行归一化处理，得到0－1之间的值；

将得到的值按照线性比例转换成1－11之间的值，作为双边滤波中的bilateralFilter的参数d；

将双边滤波中的参数sigmaColor设置为d*2；以及

将双边滤波中的参数sigmaSpace设置为d/2+1。

根据本发明的另一方面，提供了一种视频文件处理系统，包括：

图像帧获取模块，所述图像帧获取模块被配置成对所述视频文件进行抽帧以获取待处理的图像帧；

复杂度确定模块，所述复杂度确定模块被配置成确定所述图像帧的画面复杂度；

双边滤波参数确定模块，所述双边滤波参数确定模块被配置成基于所述画面复杂度确定双边滤波参数；以及

双边滤波模块，所述双边滤波模块被配置成使用所述双边滤波参数对所述图像帧进行双边滤波。

根据本发明的一个实施例，所述复杂度确定模块被进一步配置成：

使用Canny边缘检测函数来标识所述图像帧的边缘，并生成灰度图像；

对所述灰度图像进行二值化处理以生成二值化图像，所述二值化图像具有所标识的边缘像素点；以及

基于所述二值化图像的所述边缘像素点数和所述二值化图像的总像素点数来计算像素比值，其中所述像素比值被用来确定所述图像帧的画面复杂度。

根据本发明的另一实施例，基于所述像素比值来确定所述图像帧的画面复杂度进一步包括：

对所述像素比值进行阈值化处理，其中当所述像素比值大于上阈值时，取所述上阈值为所述像素比值，当所述像素比值小于下阈值时，取所述下阈值为所述像素比值。

根据本发明的又一实施例，所述双边滤波参数确定模块被进一步配置成：

将所述画面复杂度进行归一化处理，得到0－1之间的值；

将得到的值按照线性比例转换成1－11之间的值，作为双边滤波中的bilateralFilter的参数d；

将双边滤波中的参数sigmaColor设置为d*2；以及

将双边滤波中的参数sigmaSpace设置为d/2+1。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。

附图说明

为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。

图1是根据本发明的一个实施例的视频文件处理方法的示例流程图。

图2是根据本发明的一个实施例的视频文件处理系统的示例架构图。

图3是根据本发明的一个实施例的可通过例如具体动态参数来实现的视频文件处理方法的示例流程图。

图4A和图4B是根据本发明的一个实施例的视频文件处理方法的风景示例效果对比图。

图5A至图5C是根据本发明的一个实施例的视频文件处理方法的人物示例效果对比图。

具体实施方式

下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。

图1是根据本发明的一个实施例的视频文件处理方法100的示例流程图。方法100开始于步骤102，可以对视频文件进行抽帧以获取待处理的图像帧。作为一个示例，可以对于需要处理的视频文件进行抽帧以得到逐帧图像，以便后续可以对每一帧的图像进行处理，例如一秒取若干帧。替代地，也可以根据需要按一定的时间间隔抽取若干帧，例如，在场景变化较少时。

随后，方法前进至步骤104，可以确定该图像帧的画面复杂度。作为一个示例，可以使用Canny边缘检测函数来标识该图像帧的边缘，并生成灰度图像。当然，也可以使用其他边缘检测函数来寻找边缘，例如Sobel边缘检测函数、Laplacian边缘检测函数等。进一步地，可以在Canny边缘检测函数中，应用双阈值的方法来确定可能的边界，即设定一个“边缘阈值上限”(threshold1)和“边缘阈值下限”(threshold2)，图像帧中的像素点如果大于threshold1则认为必然是边界(称为强边界，strong edge)，小于threshold2则认为必然不是边界，而如果在两者之间的则认为是候选项(称为弱边界，weak edge)，需进行进一步处理，例如如果其领域内有强边界像素，则保留，如果没有，则剔除。对于Canny边缘检测函数中这两个关键的阈值threshold1和threshold2，通常由人为指定，即一个一个去尝试，然后手动选择比较合适的值。作为一个示例，可以将参数“边缘阈值上限”(threshold1)设置为58，并且将参数“边缘阈值下限”(threshold2)设置为8，从而标识出该图像帧的边缘。

然后，可以对该灰度图像进行二值化处理以生成二值化图像。将图像上的点的灰度值标记为0或255，即可以将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。该二值化图像具有所标识的边缘像素点，例如，二值化后这些边缘像素点可被标记为白色的像素点。然后，可以基于该二值化图像的边缘像素点数和该二值化图像的总像素点数来计算像素比值，其中该像素比值可被用来确定该图像帧的画面复杂度。

进一步地，作为一个示例，基于像素比值来确定图像帧的画面复杂度可以包括：对像素比值进行阈值化处理，其中当像素比值大于上阈值时，取上阈值为像素比值，当像素比值小于下阈值时，取下阈值为像素比值。例如，上阈值可以为0.25，并且下阈值可以为0.05。

在步骤106，可以基于该画面复杂度来确定双边滤波参数。作为一个示例，可以将画面复杂度进行归一化处理，得到0－1之间的值，然后将得到的值按照线性比例转换成1－11之间的值，作为双边滤波中的bilateralFilter函数的参数d。例如，在opencv里面提供了bilateralFilter函数来实现双边滤波操作。在bilateralFilter函数中，参数d表示在过滤过程中每个像素领域的直径范围。接着，可以将双边滤波中的参数sigmaColor设置为d*2，并且将双边滤波中的参数sigmaSpace设置为d/2+1。

在步骤108，使用步骤106所得的双边滤波参数对图像帧进行双边滤波。例如，可以将步骤106所得的参数d、sigmaColor和sigmaSpace应用于bilateralFilter函数以对该图像帧进行双边滤波。

上述方法可以通过对视频文件重复上述步骤以进行持续抽帧分析，不断地调整双边滤波函数中的动态参数，从而实现对于整体视频文件去噪的持续动态优化。

图2是根据本发明的一个实施例的视频文件处理系统200的示例架构图。如图2中所示，视频文件处理系统200可以包括图像帧获取模块202、复杂度确定模块204、双边滤波参数确定模块206和双边滤波模块208。

图像帧获取模块202可被配置成对视频文件进行抽帧以获取待处理的图像帧。具体的抽帧方式可以参考如图1中的步骤102所述。

复杂度确定模块204可被配置成确定图像帧的画面复杂度。作为一个示例，复杂度确定模块204可被进一步配置成使用Canny边缘检测函数来标识图像帧的边缘，并生成灰度图像。然后，对灰度图像进行二值化处理以生成二值化图像，该二值化图像具有所标识的边缘像素点。然后，基于二值化图像的边缘像素点数和二值化图像的总像素点数来计算像素比值，其中像素比值可被用来确定所述图像帧的画面复杂度。进一步地，基于像素比值来确定图像帧的画面复杂度还可以包括对像素比值进行阈值化处理，其中当像素比值大于上阈值时，取上阈值为像素比值，当像素比值小于下阈值时，取下阈值为像素比值。例如，上阈值可以为0.25，并且下阈值可以为0.05。

双边滤波参数确定模块206可被配置成基于所述画面复杂度确定双边滤波参数。作为一个示例，双边滤波参数确定模块206可被进一步配置成将画面复杂度进行归一化处理，以得到0－1之间的值。然后，可以将得到的值按照线性比例转换成1－11之间的值，作为双边滤波中的bilateralFilter的参数d。然后，可以将双边滤波中的参数sigmaColor设置为d*2，并且将双边滤波中的参数sigmaSpace设置为d/2+1。

双边滤波模块208被配置成使用所述双边滤波参数对图像帧进行双边滤波。例如，可以将双边滤波参数确定模块206所生成的参数d、sigmaColor和sigmaSpace应用于bilateralFilter函数以对需要处理的视频文件中的各个图像帧进行双边滤波。

视频文件处理系统200通过对于二值化图像的像素点进行持续分析，得到双边滤波函数的动态参数，从而以动态参数模式来优化双边滤波函数，实现视频文件中需要双边滤波的场景自适应，达到更佳的保边去噪效果。

图3是根据本发明的一个实施例的可通过例如具体动态参数来实现的视频文件处理方法300的示例流程图。作为一个示例，方法300可以使用opencv里面Canny函数和bilateralFilter函数来实现双边滤波操作，其具体声明如下：

void Canny(InputArray image,OutputArray edges,

double threshold1,double threshold2,

int apertureSize＝3,bool L2gradient＝false)；

double threshold(InputArray src,OutputArray dst,

double thresh,double maxval,int type)；

void bilateralFilter(InputArray src,OutputArray dst,int d,

double sigmaColor,double sigmaSpace,

int borderType＝BORDER_DEFAULT)；

方法300开始于步骤302，可以对于需要处理的视频文件进行预抽帧以得到图像帧。然后，在步骤304，可以对于图像帧使用Canny函数来寻找图像边缘，并生成灰度图像。进一步地，可以在Canny函数中，将参数“边缘阈值上限”threshold1设置为8，并且将“边缘阈值下限”threshold2设置为58，从而识别该图像帧的边缘像素。在步骤306，可以对于灰度图像进行图像二值化以生成二值化图像，该二值化图像具有所标识的边缘像素点，即白色像素点。在步骤308，可以统计白色像素点和总像素的比值A。

进一步地，通过对大量的视频文件数据的测量，得到白色像素点数量除以总像素数量的比值A的范围大致在0.05～0.25之间，由此可以设置上阈值为0.25，并且设置下阈值为0.05。在步骤310和步骤312，如果A小于0.05就取值0.05，如果大于0.25就取值0.25，以使得对像素比值A进行阈值化处理，从而可以确定该图像帧的画面复杂度f，f在0.05～0.25之间。

在步骤314，对于画面复杂度f进行如下运行：

f-＝0.05；

f＝f/0.2，从而将f调整为一个0～1的值。

然后，在步骤316，进一步按照线性比例对经调整的f进行计算：

n＝1+10*(1-f)，从而得到一个1～11的最终值n，可以将n作为双边滤波函数bilateralFilter中的参数d，参数d的范围是1～11。

进一步地，在步骤318，可以根据步骤316得到的参数d，设置双边滤波函数bilateralFilter中的另外两个参数：

sigmaColor＝d*2,

sigmaSpace＝d/2+1。

在步骤320，可以将步骤316计算得到的参数d、以及步骤318得到的参数sigmaColor和sigmaSpace应用于双边滤波函数bilateralFilter，对每一帧进行双边滤波。

图4A和图4B是根据本发明的一个实施例的视频文件处理方法的风景示例效果对比图。图4A是通过如参考图1中的步骤102、图3中的步骤302、或经由图2中的图像帧获取模块202对视频文件进行抽帧后获取的待处理的图像帧。通过肉眼观察，可以发现该图像帧的画面复杂度不太明显。图4B是通过如参考图1中的步骤104、图3中的步骤310和312、或经由图2中的复杂度确定模块204所确定图像帧的画面复杂度。其中，图像边缘由白色的像素点来标识。如图4B所示，整个图像帧的复杂度一目了然了，波浪部分边缘最多，画面复杂度最高。可见，边缘数量能够客观地反应图像帧的复杂程度，即，通过本发明的视频文件处理方法，用图像中的边缘数量来反映画面复杂度是客观、准确的。

图5A至图5C是根据本发明的一个实施例的视频文件处理方法的人物示例效果对比图。图5A是通过如参考图1中的步骤102、图3中的步骤302、或经由图2中的图像帧获取模块202对视频文件进行抽帧后获取的待处理的图像帧。图5B是通过如参考图1中的步骤104、图3中的步骤310和312、或经由图2中的复杂度确定模块204所确定图像帧的画面复杂度。其中，图像边缘由白色的像素点来标识。图5C是通过如参考图1中的步骤108、图3中的步骤320、或经由图2中的复杂度确定模块208所生成的双边滤波后的图像。可见，通过本发明的动态确认双边滤波参数的方法，实现了提升画质的目的。

图4A和图4B是针对风景应用本发明的一个实施例的视频文件处理方法的示例效果对比图，而图5A至图5C是针对人像应用本发明的一个实施例的视频文件处理方法的示例效果对比图。一般而言，视频文件中可能存在不同的场景，而本发明针对视频内容建立采集参数的动态函数，实现像素范围的动态化调整，从而针对不同的场景和内容实现差异化双边滤波。

以上描述了本发明的视频文件处理方法和系统，与现有技术中的方案相比，本发明至少具有以下优点：

1、对于视频内容中存在不同的场景状态，如风景、人像等，可以针对不同的场景采用不同的双边滤波参数，从而显著提升了画质，特别是人物皮肤。具体地，可以自适应各种场景，例如，通过确定画面复杂度，对于画面复杂的自然环境可以自动降低双边滤波的强度，而对于人物场景加强双边滤波。

2、可以通过画面的边缘数量来快速分析场景，实现对参数的快速调整。具体地，通过Canny函数快速获取图像帧的边缘数量，并通过建立边缘数量及双边滤波参数d的算法函数，实现场景的识别与动态参数的高效联动。

3、将双边滤波参数动态化，通过动态参数d实现双边滤波的场景自适应，达到更佳的保边去噪效果。

以上所已经描述的内容包括所要求保护主题的各方面的示例。当然，出于描绘所要求保护主题的目的而描述每一个可以想到的组件或方法的组合是不可能的，但本领域内的普通技术人员应该认识到，所要求保护主题的许多进一步的组合和排列都是可能的。从而，所公开的主题旨在涵盖落入所附权利要求书的精神和范围内的所有这样的变更、修改和变化。

Claims (10)

1.一种视频文件处理方法，包括：

对所述视频文件进行抽帧以获取待处理的图像帧；

确定所述图像帧的画面复杂度；

基于所述画面复杂度确定双边滤波参数；以及

使用所述双边滤波参数对所述图像帧进行双边滤波。

2.如权利要求1所述的方法，其特征在于，确定所述图像帧的画面复杂度包括：

使用Canny边缘检测函数来标识所述图像帧的边缘，并生成灰度图像；

对所述灰度图像进行二值化处理以生成二值化图像，所述二值化图像具有所标识的边缘像素点；以及

基于所述二值化图像的所述边缘像素点数和所述二值化图像的总像素点数来计算像素比值，其中所述像素比值被用来确定所述图像帧的画面复杂度。

3.如权利要求2所述的方法，其特征在于，基于所述像素比值来确定所述图像帧的画面复杂度进一步包括：

对所述像素比值进行阈值化处理，其中当所述像素比值大于上阈值时，取所述上阈值为所述像素比值，当所述像素比值小于下阈值时，取所述下阈值为所述像素比值。

4.如权利要求3所述的方法，其特征在于，所述上阈值为0.25，并且所述下阈值为0.05。

5.如权利要求2所述的方法，其特征在于，在所述Canny边缘检测函数中，参数“边缘阈值上限”为58，并且参数“边缘阈值下限”为8。

6.如权利要求1所述的方法，其特征在于，基于所述画面复杂度确定双边滤波参数包括：

将所述画面复杂度进行归一化处理，得到0－1之间的值；

将得到的值按照线性比例转换成1－11之间的值，作为双边滤波中的bilateralFilter的参数d；

将双边滤波中的参数sigmaColor设置为d*2；以及

将双边滤波中的参数sigmaSpace设置为d/2+1。

7.一种视频文件处理系统，包括：

图像帧获取模块，所述图像帧获取模块被配置成对所述视频文件进行抽帧以获取待处理的图像帧；

复杂度确定模块，所述复杂度确定模块被配置成确定所述图像帧的画面复杂度；

双边滤波参数确定模块，所述双边滤波参数确定模块被配置成基于所述画面复杂度确定双边滤波参数；以及

双边滤波模块，所述双边滤波模块被配置成使用所述双边滤波参数对所述图像帧进行双边滤波。

8.如权利要求7所述的系统，其特征在于，所述复杂度确定模块被进一步配置成：

使用Canny边缘检测函数来标识所述图像帧的边缘，并生成灰度图像；

对所述灰度图像进行二值化处理以生成二值化图像，所述二值化图像具有所标识的边缘像素点；以及

基于所述二值化图像的所述边缘像素点数和所述二值化图像的总像素点数来计算像素比值，其中所述像素比值被用来确定所述图像帧的画面复杂度。

9.如权利要求8所述的系统，其特征在于，基于所述像素比值来确定所述图像帧的画面复杂度进一步包括：

对所述像素比值进行阈值化处理，其中当所述像素比值大于上阈值时，取所述上阈值为所述像素比值，当所述像素比值小于下阈值时，取所述下阈值为所述像素比值。

10.如权利要求6所述的系统，其特征在于，所述双边滤波参数确定模块被进一步配置成：

将所述画面复杂度进行归一化处理，得到0－1之间的值；

将得到的值按照线性比例转换成1－11之间的值，作为双边滤波中的bilateralFilter的参数d；

将双边滤波中的参数sigmaColor设置为d*2；以及

将双边滤波中的参数sigmaSpace设置为d/2+1。

Images