CN110689498A - 一种基于对非关注点部分分级模糊的高清视频优化方法 - Google Patents

Abstract

一种基于对非关注点部分分级模糊的高清视频优化方法，该方法通过将高清视频中人们所关注的部分保留原有画质，将人们不关注的部分压缩画质，从而降低视频的所占空间，继而降低在下行链路上的资源占用。通过这种对高清视频非关注点部分分级模糊的方法的使用，最终实现了在分辨率不变的情况下，将视频的存储空间降低，并可以实现越靠近关注点部分越清晰，越远离越模糊的符合用户需求的功能。通过这种对高清视频非关注点部分分级模糊的方法的实现为高清视频的视频优化提供一种新的方法，为进一步实现超高清视频优化以及AR应用的下行链路优化提供了新的思路。

Description

一种基于对非关注点部分分级模糊的高清视频优化方法

技术领域

本发明属于图像处理技术领域，涉及ffmpeg、高斯模糊、均值模糊、双边模糊、中值模糊和图像矩阵处理，具体涉及一种基于对非关注点部分分级模糊的高清视频优化方法。

背景技术

近年来随着视频编解码技术的发展以及现在正在部署的5G的发展，H.264和H.265的不断进步使得4K和8K的超高清视频即将成为人们观看视频的主流。而新兴的AR技术使得人们对于视频有了一种全新的观看方式，视频流从用户端被传输到服务器端，在服务器上进行处理，而后从服务器传输给用户AR设备。而针对于这种方式，视频在下行链路上的传输则有很大的空间去被优化，因而提出了这种新的视频优化方法。而这几年中，人们对于神经网络和深度学习的发展不断着力，基于tensflow的图片突出物体检测方法也得到了长足的发展，也有了一些成熟的模型可供使用，这对于我们的工作开展也具有非常重要的作用。

发明内容

为了克服上述现有技术的不足，本发明的目的是提供一种基于对非关注点部分分级模糊的高清视频优化方法，对视频所占内存大小方面以及用户体验方面提出了改进。

为了实现上述目的，本发明采用的技术方案是：

一种基于对非关注点部分分级模糊的高清视频优化方法，其特征在于，包括以下步骤：

1)对输入的视频流先以原始视频的FPS为基础进行帧截取；视频帧截取应符合原始视频的帧率，且将截取的帧保存为PNG格式，此格式为无损画质，不会对关注点部分产生画质的损害；

2)对所有得到的帧进行处理，使用深度学习模型对每一帧中的突出物体进行检测，识别当前帧中最具视觉特征的目标区域即人们所关注的部分；深度学习模型可以识别图像中最具视觉特征的目标或区域，此时，最具视觉特征的目标或区域可默认为人眼最有可能关注的部分，即关注点，得到的结果为灰度图，其中人们关注部分的灰度值接近255，即白色；

3)根据检测结果，对于提取到的关注点部分进行从原始帧上剥离，对于剥离后剩余的非关注点部分进行模糊处理；关注点部分提取是在步骤2)的基础上进行的，使用深度学习模型得到关注点提取的结果为一张具有三通道的灰度图，对其进行二值化，使得像素点的值只有0和1，便于之后的矩阵操作，再与原始帧做矩阵的点乘运算：

其中矩阵a与矩阵b，即图片a与图片b中各个位置相同的点相乘，最终可以得到突出的关注点部分的彩色图片；对二值图反相，重复之前的操作，则可得到非关注点部分即背景图片的彩色图片，进而可以使用不同的模糊方法：f(x)＝f×k，其中k为彩色背景图片，f为采用不同的卷积核的五种模糊方法，包括：高斯模糊、中值模糊、均值模糊、双边模糊以及对图片低清压缩重放大，使用这五种方法对背景图进行模糊处理，最终得到f(x)即模糊处理过的彩色背景图片。其中图片低清重放大方法是：对背景图片降低分辨率，此时与前景图的分辨率不同，维度不同的两张图无法叠加，故进行插值操作将背景图重新扩大到与前景图同样的尺寸；在这个过程中图片虽然尺寸没有变化，但是中间的步骤却相当于对于图片的像素进行了有损操作，故也可看作是一种模糊方法；

4)在非关注部分的模糊处理上，可以对其进行分级模糊，即越靠近关注点的部分越清晰，越远离关注点的部分越模糊；分级模糊是在步骤3)所述的背景图上进行操作的，

其中n为所分级数，x_i是所处当前级数的被不同卷积核模糊处理过的图片，f(x)是不同级数的图片叠加之后的图片,以分为三个级别的分级模糊为例：首先，关注点部分不做任何的模糊处理，保持其原有属性；其次，靠近关注点部分的少许背景图可使用较小的卷积核进行较轻微的模糊处理；最后，除过上述两部分之外的背景图可使用较大的卷积核进行较明显的模糊处理；以此，可以达到越靠近关注点越清晰，越远离越模糊的用户体验；

5)将关注点部分和进行模糊处理之后的非关注点部分进行合成操作，得到处理之后的帧，之后将处理好的帧按照原始帧率合成为新的视频；以帧合成视频，需考虑与原视频具有相同的FPS(帧/每秒)，还原之后的视频与原视频具有相同的分辨率，但所占内存要小于原视频，从而减少在下行链路上的资源占用及能源使用，同时，合成新的帧的时候，要符合前后背景图有相同的分辨率，即其维度要相同；

6)对使用不同模糊方法进行处理的视频迁移到嵌入式平台上测试，测量其相比于原始视频下载过程中的能量消耗情况；原始视频和使用不同模糊方法处理后的视频迁移到嵌入式系统中时，需要对其性能在嵌入式系统上进行测试，在测试中需要自行搭建稳定的封闭式网络环境，以便模拟在不同情况下的下载功耗。此外，为保证测试的有效性，需要保持GPU不被其他应用占用，还需在嵌入式读取功耗时需要设计专门的脚本进行功耗读取。同时，还需要综合考虑各个方法的处理时间，可使用并行的多线程来减少时间损耗。

本发明的有益效果是：通过对视频上非关注点部分的低清模糊处理，以及分级模糊处理，可以在保证用户体验度的同时，降低视频所占内存，降低下载链路上的资源占用，降低移动端的能量使用。

附图说明

附图为本发明方法的实施流程。

具体实施方式

以下结合附图对本发明进一步叙述，但本发明不局限于以下实施例。

1)在京东云服务器上搭建深度学习环境，在NVIDIA Jetson TX2嵌入式移动平台搭建封闭的稳定网络环境，并可以提供模拟几种不同的网络环境包括优良的网络环境和恶劣的网络环境。

2)使用ffmpeg对视频进行分帧，使用深度学习模型对每帧进行提取突出目标或区域的操作，得到灰度图。

3)灰度图二值化，根据矩阵运算法则，进行图片的叠加操作，得到前景图与背景图，并对背景图使用不同方法进行模糊处理，并添加批处理操作。其中模糊处理可以进行分级模糊，达到越靠近关注部分越清晰，越远离越模糊，以符合用户的体验需求。

4)将代码移植到京东云服务器，进行批处理操作，并添加时间戳，测试使用的几种方法所用时间长短，进行比对。

5)使用ffmpeg对处理过的帧合成视频。

6)将原始视频，与处理后的视频移植到NVIDIA Jetson TX2并使用性能测试脚本对能耗进行测试并统计分析结果。

Claims (1)

1.一种基于对非关注点部分分级模糊的高清视频优化方法，其特征在于，包括以下步骤：

1)对输入的视频流先以原始视频的FPS为基础进行帧截取；视频帧截取应符合原始视频的帧率，且将截取的帧保存为PNG格式，此格式为无损画质，不会对关注点部分产生画质的损害；

2)对所有得到的帧进行处理，使用深度学习模型对每一帧中的突出物体进行检测，识别当前帧中最具视觉特征的目标区域即人们所关注的部分；深度学习模型可以识别图像中最具视觉特征的目标或区域，此时，最具视觉特征的目标或区域可默认为人眼最有可能关注的部分，即关注点，得到的结果为灰度图，其中人们关注部分的灰度值接近255，即白色；

3)根据检测结果，对于提取到的关注点部分进行从原始帧上剥离，对于剥离后剩余的非关注点部分进行模糊处理；关注点部分提取是在步骤2)的基础上进行的，使用深度学习模型得到关注点提取的结果为一张具有三通道的灰度图，对其进行二值化，使得像素点的值只有0和1，便于之后的矩阵操作，再与原始帧做矩阵的点乘运算：

其中矩阵a与矩阵b，即图片a与图片b中各个位置相同的点相乘，最终可以得到突出的关注点部分的彩色图片；对二值图反相，重复之前的操作，则可得到非关注点部分即背景图片的彩色图片，进而可以使用不同的模糊方法：f(x)＝f×k，其中k为彩色背景图片，f为采用不同的卷积核的五种模糊方法，包括：高斯模糊、中值模糊、均值模糊、双边模糊以及对图片低清压缩重放大，使用这五种方法对背景图进行模糊处理，最终得到f(x)即模糊处理过的彩色背景图片。其中图片低清重放大方法是：对背景图片降低分辨率，此时与前景图的分辨率不同，维度不同的两张图无法叠加，故进行插值操作将背景图重新扩大到与前景图同样的尺寸；在这个过程中图片虽然尺寸没有变化，但是中间的步骤却相当于对于图片的像素进行了有损操作，故也可看作是一种模糊方法；

4)在非关注部分的模糊处理上，可以对其进行分级模糊，即越靠近关注点的部分越清晰，越远离关注点的部分越模糊；分级模糊是在步骤3)所述的背景图上进行操作的，

其中n为所分级数，x_i是所处当前级数的被不同卷积核模糊处理过的图片，f(x)是不同级数的图片叠加之后的图片,以分为三个级别的分级模糊为例：首先，关注点部分不做任何的模糊处理，保持其原有属性；其次，靠近关注点部分的少许背景图可使用较小的卷积核进行较轻微的模糊处理；最后，除过上述两部分之外的背景图可使用较大的卷积核进行较明显的模糊处理；以此，可以达到越靠近关注点越清晰，越远离越模糊的用户体验；

5)将关注点部分和进行模糊处理之后的非关注点部分进行合成操作，得到处理之后的帧，之后将处理好的帧按照原始帧率合成为新的视频；以帧合成视频，需考虑与原视频具有相同的FPS(帧/每秒)，还原之后的视频与原视频具有相同的分辨率，但所占内存要小于原视频，从而减少在下行链路上的资源占用及能源使用，同时，合成新的帧的时候，要符合前后背景图有相同的分辨率，即其维度要相同；

6)对使用不同模糊方法进行处理的视频迁移到嵌入式平台上测试，测量其相比于原始视频下载过程中的能量消耗情况；原始视频和使用不同模糊方法处理后的视频迁移到嵌入式系统中时，需要对其性能在嵌入式系统上进行测试，在测试中需要自行搭建稳定的封闭式网络环境，以便模拟在不同情况下的下载功耗。此外，为保证测试的有效性，需要保持GPU不被其他应用占用，还需在嵌入式读取功耗时需要设计专门的脚本进行功耗读取。同时，还需要综合考虑各个方法的处理时间，可使用并行的多线程来减少时间损耗。

Images