CN110689498A - 一种基于对非关注点部分分级模糊的高清视频优化方法 - Google Patents

一种基于对非关注点部分分级模糊的高清视频优化方法 Download PDF

Info

Publication number
CN110689498A
CN110689498A CN201910925374.7A CN201910925374A CN110689498A CN 110689498 A CN110689498 A CN 110689498A CN 201910925374 A CN201910925374 A CN 201910925374A CN 110689498 A CN110689498 A CN 110689498A
Authority
CN
China
Prior art keywords
video
fuzzy
picture
image
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910925374.7A
Other languages
English (en)
Other versions
CN110689498B (zh
Inventor
高岭
陈乐�
党鑫
袁璐
张晓�
王海
郑杰
刘献瑞
杨建锋
刘贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN201910925374.7A priority Critical patent/CN110689498B/zh
Publication of CN110689498A publication Critical patent/CN110689498A/zh
Application granted granted Critical
Publication of CN110689498B publication Critical patent/CN110689498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于对非关注点部分分级模糊的高清视频优化方法,该方法通过将高清视频中人们所关注的部分保留原有画质,将人们不关注的部分压缩画质,从而降低视频的所占空间,继而降低在下行链路上的资源占用。通过这种对高清视频非关注点部分分级模糊的方法的使用,最终实现了在分辨率不变的情况下,将视频的存储空间降低,并可以实现越靠近关注点部分越清晰,越远离越模糊的符合用户需求的功能。通过这种对高清视频非关注点部分分级模糊的方法的实现为高清视频的视频优化提供一种新的方法,为进一步实现超高清视频优化以及AR应用的下行链路优化提供了新的思路。

Description

一种基于对非关注点部分分级模糊的高清视频优化方法
技术领域
本发明属于图像处理技术领域,涉及ffmpeg、高斯模糊、均值模糊、双边模糊、中值模糊和图像矩阵处理,具体涉及一种基于对非关注点部分分级模糊的高清视频优化方法。
背景技术
近年来随着视频编解码技术的发展以及现在正在部署的5G的发展,H.264和H.265的不断进步使得4K和8K的超高清视频即将成为人们观看视频的主流。而新兴的AR技术使得人们对于视频有了一种全新的观看方式,视频流从用户端被传输到服务器端,在服务器上进行处理,而后从服务器传输给用户AR设备。而针对于这种方式,视频在下行链路上的传输则有很大的空间去被优化,因而提出了这种新的视频优化方法。而这几年中,人们对于神经网络和深度学习的发展不断着力,基于tensflow的图片突出物体检测方法也得到了长足的发展,也有了一些成熟的模型可供使用,这对于我们的工作开展也具有非常重要的作用。
发明内容
为了克服上述现有技术的不足,本发明的目的是提供一种基于对非关注点部分分级模糊的高清视频优化方法,对视频所占内存大小方面以及用户体验方面提出了改进。
为了实现上述目的,本发明采用的技术方案是:
一种基于对非关注点部分分级模糊的高清视频优化方法,其特征在于,包括以下步骤:
1)对输入的视频流先以原始视频的FPS为基础进行帧截取;视频帧截取应符合原始视频的帧率,且将截取的帧保存为PNG格式,此格式为无损画质,不会对关注点部分产生画质的损害;
2)对所有得到的帧进行处理,使用深度学习模型对每一帧中的突出物体进行检测,识别当前帧中最具视觉特征的目标区域即人们所关注的部分;深度学习模型可以识别图像中最具视觉特征的目标或区域,此时,最具视觉特征的目标或区域可默认为人眼最有可能关注的部分,即关注点,得到的结果为灰度图,其中人们关注部分的灰度值接近255,即白色;
3)根据检测结果,对于提取到的关注点部分进行从原始帧上剥离,对于剥离后剩余的非关注点部分进行模糊处理;关注点部分提取是在步骤2)的基础上进行的,使用深度学习模型得到关注点提取的结果为一张具有三通道的灰度图,对其进行二值化,使得像素点的值只有0和1,便于之后的矩阵操作,再与原始帧做矩阵的点乘运算:
Figure BDA0002218817340000021
其中矩阵a与矩阵b,即图片a与图片b中各个位置相同的点相乘,最终可以得到突出的关注点部分的彩色图片;对二值图反相,重复之前的操作,则可得到非关注点部分即背景图片的彩色图片,进而可以使用不同的模糊方法:f(x)=f×k,其中k为彩色背景图片,f为采用不同的卷积核的五种模糊方法,包括:高斯模糊、中值模糊、均值模糊、双边模糊以及对图片低清压缩重放大,使用这五种方法对背景图进行模糊处理,最终得到f(x)即模糊处理过的彩色背景图片。其中图片低清重放大方法是:对背景图片降低分辨率,此时与前景图的分辨率不同,维度不同的两张图无法叠加,故进行插值操作将背景图重新扩大到与前景图同样的尺寸;在这个过程中图片虽然尺寸没有变化,但是中间的步骤却相当于对于图片的像素进行了有损操作,故也可看作是一种模糊方法;
4)在非关注部分的模糊处理上,可以对其进行分级模糊,即越靠近关注点的部分越清晰,越远离关注点的部分越模糊;分级模糊是在步骤3)所述的背景图上进行操作的,
Figure BDA0002218817340000031
其中n为所分级数,xi是所处当前级数的被不同卷积核模糊处理过的图片,f(x)是不同级数的图片叠加之后的图片,以分为三个级别的分级模糊为例:首先,关注点部分不做任何的模糊处理,保持其原有属性;其次,靠近关注点部分的少许背景图可使用较小的卷积核进行较轻微的模糊处理;最后,除过上述两部分之外的背景图可使用较大的卷积核进行较明显的模糊处理;以此,可以达到越靠近关注点越清晰,越远离越模糊的用户体验;
5)将关注点部分和进行模糊处理之后的非关注点部分进行合成操作,得到处理之后的帧,之后将处理好的帧按照原始帧率合成为新的视频;以帧合成视频,需考虑与原视频具有相同的FPS(帧/每秒),还原之后的视频与原视频具有相同的分辨率,但所占内存要小于原视频,从而减少在下行链路上的资源占用及能源使用,同时,合成新的帧的时候,要符合前后背景图有相同的分辨率,即其维度要相同;
6)对使用不同模糊方法进行处理的视频迁移到嵌入式平台上测试,测量其相比于原始视频下载过程中的能量消耗情况;原始视频和使用不同模糊方法处理后的视频迁移到嵌入式系统中时,需要对其性能在嵌入式系统上进行测试,在测试中需要自行搭建稳定的封闭式网络环境,以便模拟在不同情况下的下载功耗。此外,为保证测试的有效性,需要保持GPU不被其他应用占用,还需在嵌入式读取功耗时需要设计专门的脚本进行功耗读取。同时,还需要综合考虑各个方法的处理时间,可使用并行的多线程来减少时间损耗。
本发明的有益效果是:通过对视频上非关注点部分的低清模糊处理,以及分级模糊处理,可以在保证用户体验度的同时,降低视频所占内存,降低下载链路上的资源占用,降低移动端的能量使用。
附图说明
附图为本发明方法的实施流程。
具体实施方式
以下结合附图对本发明进一步叙述,但本发明不局限于以下实施例。
1)在京东云服务器上搭建深度学习环境,在NVIDIA Jetson TX2嵌入式移动平台搭建封闭的稳定网络环境,并可以提供模拟几种不同的网络环境包括优良的网络环境和恶劣的网络环境。
2)使用ffmpeg对视频进行分帧,使用深度学习模型对每帧进行提取突出目标或区域的操作,得到灰度图。
3)灰度图二值化,根据矩阵运算法则,进行图片的叠加操作,得到前景图与背景图,并对背景图使用不同方法进行模糊处理,并添加批处理操作。其中模糊处理可以进行分级模糊,达到越靠近关注部分越清晰,越远离越模糊,以符合用户的体验需求。
4)将代码移植到京东云服务器,进行批处理操作,并添加时间戳,测试使用的几种方法所用时间长短,进行比对。
5)使用ffmpeg对处理过的帧合成视频。
6)将原始视频,与处理后的视频移植到NVIDIA Jetson TX2并使用性能测试脚本对能耗进行测试并统计分析结果。

Claims (1)

1.一种基于对非关注点部分分级模糊的高清视频优化方法,其特征在于,包括以下步骤:
1)对输入的视频流先以原始视频的FPS为基础进行帧截取;视频帧截取应符合原始视频的帧率,且将截取的帧保存为PNG格式,此格式为无损画质,不会对关注点部分产生画质的损害;
2)对所有得到的帧进行处理,使用深度学习模型对每一帧中的突出物体进行检测,识别当前帧中最具视觉特征的目标区域即人们所关注的部分;深度学习模型可以识别图像中最具视觉特征的目标或区域,此时,最具视觉特征的目标或区域可默认为人眼最有可能关注的部分,即关注点,得到的结果为灰度图,其中人们关注部分的灰度值接近255,即白色;
3)根据检测结果,对于提取到的关注点部分进行从原始帧上剥离,对于剥离后剩余的非关注点部分进行模糊处理;关注点部分提取是在步骤2)的基础上进行的,使用深度学习模型得到关注点提取的结果为一张具有三通道的灰度图,对其进行二值化,使得像素点的值只有0和1,便于之后的矩阵操作,再与原始帧做矩阵的点乘运算:
Figure FDA0002218817330000011
其中矩阵a与矩阵b,即图片a与图片b中各个位置相同的点相乘,最终可以得到突出的关注点部分的彩色图片;对二值图反相,重复之前的操作,则可得到非关注点部分即背景图片的彩色图片,进而可以使用不同的模糊方法:f(x)=f×k,其中k为彩色背景图片,f为采用不同的卷积核的五种模糊方法,包括:高斯模糊、中值模糊、均值模糊、双边模糊以及对图片低清压缩重放大,使用这五种方法对背景图进行模糊处理,最终得到f(x)即模糊处理过的彩色背景图片。其中图片低清重放大方法是:对背景图片降低分辨率,此时与前景图的分辨率不同,维度不同的两张图无法叠加,故进行插值操作将背景图重新扩大到与前景图同样的尺寸;在这个过程中图片虽然尺寸没有变化,但是中间的步骤却相当于对于图片的像素进行了有损操作,故也可看作是一种模糊方法;
4)在非关注部分的模糊处理上,可以对其进行分级模糊,即越靠近关注点的部分越清晰,越远离关注点的部分越模糊;分级模糊是在步骤3)所述的背景图上进行操作的,
Figure FDA0002218817330000021
其中n为所分级数,xi是所处当前级数的被不同卷积核模糊处理过的图片,f(x)是不同级数的图片叠加之后的图片,以分为三个级别的分级模糊为例:首先,关注点部分不做任何的模糊处理,保持其原有属性;其次,靠近关注点部分的少许背景图可使用较小的卷积核进行较轻微的模糊处理;最后,除过上述两部分之外的背景图可使用较大的卷积核进行较明显的模糊处理;以此,可以达到越靠近关注点越清晰,越远离越模糊的用户体验;
5)将关注点部分和进行模糊处理之后的非关注点部分进行合成操作,得到处理之后的帧,之后将处理好的帧按照原始帧率合成为新的视频;以帧合成视频,需考虑与原视频具有相同的FPS(帧/每秒),还原之后的视频与原视频具有相同的分辨率,但所占内存要小于原视频,从而减少在下行链路上的资源占用及能源使用,同时,合成新的帧的时候,要符合前后背景图有相同的分辨率,即其维度要相同;
6)对使用不同模糊方法进行处理的视频迁移到嵌入式平台上测试,测量其相比于原始视频下载过程中的能量消耗情况;原始视频和使用不同模糊方法处理后的视频迁移到嵌入式系统中时,需要对其性能在嵌入式系统上进行测试,在测试中需要自行搭建稳定的封闭式网络环境,以便模拟在不同情况下的下载功耗。此外,为保证测试的有效性,需要保持GPU不被其他应用占用,还需在嵌入式读取功耗时需要设计专门的脚本进行功耗读取。同时,还需要综合考虑各个方法的处理时间,可使用并行的多线程来减少时间损耗。
CN201910925374.7A 2019-09-27 2019-09-27 一种基于对非关注点部分分级模糊的高清视频优化方法 Active CN110689498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910925374.7A CN110689498B (zh) 2019-09-27 2019-09-27 一种基于对非关注点部分分级模糊的高清视频优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910925374.7A CN110689498B (zh) 2019-09-27 2019-09-27 一种基于对非关注点部分分级模糊的高清视频优化方法

Publications (2)

Publication Number Publication Date
CN110689498A true CN110689498A (zh) 2020-01-14
CN110689498B CN110689498B (zh) 2024-03-12

Family

ID=69110676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910925374.7A Active CN110689498B (zh) 2019-09-27 2019-09-27 一种基于对非关注点部分分级模糊的高清视频优化方法

Country Status (1)

Country Link
CN (1) CN110689498B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111770363A (zh) * 2020-07-10 2020-10-13 陕西师范大学 基于情景感知的低延迟高分辨率移动增强现实系统
CN111818312A (zh) * 2020-08-25 2020-10-23 北京中联合超高清协同技术中心有限公司 一种可变视域的超高清视频监视转换装置和系统
CN111818311A (zh) * 2020-08-25 2020-10-23 北京中联合超高清协同技术中心有限公司 一种可变视域的超高清视频监视器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100172549A1 (en) * 2009-01-05 2010-07-08 Ben Weiss Detecting image detail level
WO2017004882A1 (zh) * 2015-07-08 2017-01-12 北京大学深圳研究生院 面向平面显示设备的视频立体化绘制方法
CN107452031A (zh) * 2017-03-09 2017-12-08 叠境数字科技(上海)有限公司 虚拟光线跟踪方法及光场动态重聚焦显示系统
CN109636737A (zh) * 2018-11-09 2019-04-16 建湖云飞数据科技有限公司 图片清晰化提升处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100172549A1 (en) * 2009-01-05 2010-07-08 Ben Weiss Detecting image detail level
WO2017004882A1 (zh) * 2015-07-08 2017-01-12 北京大学深圳研究生院 面向平面显示设备的视频立体化绘制方法
CN107452031A (zh) * 2017-03-09 2017-12-08 叠境数字科技(上海)有限公司 虚拟光线跟踪方法及光场动态重聚焦显示系统
CN109636737A (zh) * 2018-11-09 2019-04-16 建湖云飞数据科技有限公司 图片清晰化提升处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李博;刘雨杰;杨木;: "夜间视频图像处理技术在视频侦查中的应用研究", 信息系统工程, no. 09 *
谯从彬;盛斌;吴雯;马利庄;: "基于运动分割的视频去模糊", 计算机辅助设计与图形学学报, no. 11 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111770363A (zh) * 2020-07-10 2020-10-13 陕西师范大学 基于情景感知的低延迟高分辨率移动增强现实系统
CN111770363B (zh) * 2020-07-10 2022-02-11 陕西师范大学 基于情景感知的低延迟高分辨率移动增强现实系统
CN111818312A (zh) * 2020-08-25 2020-10-23 北京中联合超高清协同技术中心有限公司 一种可变视域的超高清视频监视转换装置和系统
CN111818311A (zh) * 2020-08-25 2020-10-23 北京中联合超高清协同技术中心有限公司 一种可变视域的超高清视频监视器
CN111818311B (zh) * 2020-08-25 2021-06-04 北京中联合超高清协同技术中心有限公司 一种可变视域的超高清视频监视器
CN111818312B (zh) * 2020-08-25 2021-06-04 北京中联合超高清协同技术中心有限公司 一种可变视域的超高清视频监视转换装置和系统

Also Published As

Publication number Publication date
CN110689498B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
JP7417747B2 (ja) 超解像度再構築方法及び関連装置
CN109919874B (zh) 图像处理方法、装置、计算机设备及存储介质
CN110689498B (zh) 一种基于对非关注点部分分级模糊的高清视频优化方法
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
EP4336829A1 (en) Feature data encoding method and apparatus and feature data decoding method and apparatus
CN110211052A (zh) 一种基于特征学习的单幅图像去雾方法
Lyu et al. An efficient learning-based method for underwater image enhancement
CN113068034B (zh) 视频编码方法及装置、编码器、设备、存储介质
CN111079864A (zh) 一种基于优化视频关键帧提取的短视频分类方法及系统
CN110610467A (zh) 一种基于深度学习的多帧视频去压缩噪声方法
CN114463218A (zh) 一种基于事件数据驱动的视频去模糊方法
CN112019827A (zh) 视频图像色彩增强的方法、装置、设备及存储介质
CN116468625A (zh) 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
Zhang et al. Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video
CN117455804A (zh) 基于注意力机制残差傅里叶变换网络的图像去模糊方法
US11928855B2 (en) Method, device, and computer program product for video processing
Mao et al. Aggregating Global and Local Representations via Hybrid Transformer for Video Deraining
CN115222606A (zh) 图像处理方法、装置、计算机可读介质及电子设备
Ryu et al. Image compression with meanshift based inverse colorization
Liu et al. Research on deblurring method for insulator images based on channel and spatial attention mechanisms
CN117390206B (zh) 生鲜图像存储方法、装置、电子设备和计算机可读介质
CN114998138B (zh) 一种基于注意力机制的高动态范围图像去伪影方法
CN116433501B (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant