CN111340839A - 一种基于分块的视频噪声估计方法 - Google Patents

一种基于分块的视频噪声估计方法 Download PDF

Info

Publication number
CN111340839A
CN111340839A CN202010413349.3A CN202010413349A CN111340839A CN 111340839 A CN111340839 A CN 111340839A CN 202010413349 A CN202010413349 A CN 202010413349A CN 111340839 A CN111340839 A CN 111340839A
Authority
CN
China
Prior art keywords
noise estimation
pixel blocks
video
noise
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010413349.3A
Other languages
English (en)
Inventor
王明琛
孙作潇
田超博
朱政
刘宇新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Microframe Information Technology Co ltd
Original Assignee
Hangzhou Microframe Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Microframe Information Technology Co ltd filed Critical Hangzhou Microframe Information Technology Co ltd
Priority to CN202010413349.3A priority Critical patent/CN111340839A/zh
Publication of CN111340839A publication Critical patent/CN111340839A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明公开了一种基于分块的视频噪声估计方法，属于视频、图像质量评价技术领域。所述方法包括以下步骤：首先对于输入视频进行帧差筛选，得到需要进行噪声估计的图像帧；然后将图像帧分成均匀的小块，将平均亮度值小于50以及大于200的像素块剔除，计算剩余像素块的边缘强度，得到边缘强度最大的n个像素块；进而利用分块的噪声估计模型对边缘强度最大的n个像素块进行噪声评分，根据边缘强度分配权重，按照权重融合得到整帧的噪声估计分类结果；最后对所有图像帧的噪声估计结果取平均值得到该视频的噪声估计结果，从而提高了噪声估计的准确率精准度，同时节省了噪声估计的时间。

Description

一种基于分块的视频噪声估计方法
技术领域
本发明涉及视频、图像质量评价技术领域，尤其涉及一种基于分块的视频噪声估计方法。
背景技术
随着移动终端和互联网的发展，视频已成为人类活动中最常用的信息载体。在视频的获取、压缩、传输、储存和处理的过程中，总会受到各种退化因素的影响，造成视频质量的退化，严重影响了用户体验，其中，噪声就是影响视频质量的重要因素之一，因此，视频去噪就成为数字图像处理技术中一个研究的热点。目前，基于深度学习的视频去噪方法首先需要对视频进行噪声估计，噪声估计的结果将直接影响视频去噪的效果，有效的噪声估计方法会提升图像去噪的效率和精准度。
目前做法的局限性在于：
（1）主观评价方法是将实验者的主观感知作为依据对图像的质量进行评价，是最可靠的评价方法，但是在大量的视频面前人工检测的方式很显然无法满足需求，且成本高，无法应用于实时在线的评价系统。
（2）相对于对整个图像帧进行噪声估计，分块的噪声估计模型对于噪声估计精确度更高，效果更好。
（3）一般的视频噪声估计方法都会对视频的每一帧进行特征提取，提取了大量的冗余信息，并且耗费了大量的计算资源。
发明内容
本发明提供了一种基于分块的视频噪声估计方法。本发明的核心思想在于基于深度学习训练分块的噪声估计模型，实现噪声自动化分类标注，同时提高噪声估计的精准度；利用抽帧处理的方法对视频进行预处理，减少噪声估计的耗时；通过分块融合的方法得到每个图像帧的噪声估计评分，对每个图像帧的噪声估计结果取平均得到整个视频的噪声估计结果。
1、本发明提供的一种基于分块的视频噪声估计方法，其特征在于，包括以下步骤：
（1）训练分块的噪声估计模型：
（1.1）首先筛选一批高清视频，对高清视频进行不同码率的转码压缩，得到一批噪声强度不同的视频，作为训练数据。
（1.2）对高清视频按照一定间隔随机抽帧采样，筛选出一批高清图像帧，对所选图像帧随机截取成均匀的像素块。
（1.3）在带噪声的视频中找到与步骤（1.2）的高清像素块对应的带噪声的像素块，并计算它们对应的VMAF分数。
（1.4）根据VMAF分数对像素块进行噪声强度分类，共分为5类，VMAF分数为(95,100]、(90,95]、(80,90]、(70,80]、(0,70]，分别表示噪声强度从Top1到Top5。
（1.5）将以上数据输入卷积神经网络ResNet 50进行训练，输出每一类噪声强度的的预测概率，取概率最大值作为分类结果。
（2）对输入的带噪声视频进行预处理:
（2.1）计算所述带噪声视频的相邻两帧的帧差。
（2.2）为帧差设定阈值，并判断所述带噪声的视频的每一个图像帧是否需要进行噪声估计，所述帧差值如果小于设定阈值，则说明相邻两帧相差不大，没有必要一一进行噪声估计；当所述帧差值大于设定阈值时，需要对该帧进行噪声估计。帧差计算方法如下式，其中，D(x,y)为连续两帧图像之间的差分图像，I(t)和I(t-1)分别为t和t-1时刻的图像，T为差分图像二值化时选取的阈值，D(x,y)=1表示前景，D(x,y)=0表示背景：
Figure 24158DEST_PATH_IMAGE001
。
（2.3）将视频帧不相交的部分分成若干均匀的小块，将平均亮度值小于50以及大于200的块剔除，计算剩余像素块的边缘强度，并筛选出边缘强度最大的n个块。所述边缘强度的计算方法，用3×3的卷积核进行均值滤波，与源像素相减的绝对值即为该像素的边缘强度，小块内所有像素边缘强度求和得到该块的边缘强度，所述方法包括以下步骤：
（2.3.1）令
Figure 761170DEST_PATH_IMAGE002
表示中心点在(x,y)处，大小为(m×n)的滤波器窗口。均值滤波器就是计算窗口区域的像素均值，然后将均值赋值给窗口中心点处的像素，其中，g(s,t)表示源像素，f(x,y)表示均值滤波后的像素：
Figure 720774DEST_PATH_IMAGE003
。
（2.3.2）用P1表示该像素的边缘强度，O1表示整块的边缘强度，整块的边缘强度计算方式如下：
Figure 88301DEST_PATH_IMAGE004
。
Figure 329927DEST_PATH_IMAGE005
。
（3）利用所述分块的噪声估计模型对步骤（2.3）筛选出来的n个像素块进行噪声估计，得到像素块的噪声估计分类。
（4）根据像素块的边缘强度分配权重，将每个像素块的噪声估计评分进行融合得到整帧的噪声估计分类结果。
（5）对所有进行噪声估计的图像帧的噪声估计评分取平均值得到该视频的噪声估计评分。
本发明通过基于深度学习的思想训练分块的噪声估计模型，实现噪声自动化分类标注，同时提高噪声估计的精准度，对比整帧处理的方法，噪声估计的精准度提升10%；利用抽帧处理的方法对视频进行预处理，大幅减少噪声估计的耗时，假设一个视频有1000帧，通过帧差筛选可以筛选出20帧左右，只对这20帧进行噪声估计，对比传统的噪声估计方式，整个视频的噪声估计时间缩短了50倍。
附图说明
图1为本发明一种基于分块视频噪声估计方法的流程图。
图2为本发明分块的噪声估计模型的训练流程图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
下面结合附图对本发明作更进一步的说明。
如图1所示，本发明基于分块的视频噪声估计方法具体包括以下步骤：
（1）对输入的带噪声视频进行预处理:
（1.1）计算所述带噪声视频的相邻两帧的帧差。
（1.2）为帧差设定阈值，并判断所述带噪声的视频的每一个图像帧是否需要进行噪声估计，所述帧差值如果小于设定阈值，则说明相邻两帧相差不大，没有必要一一进行噪声估计；当所述帧差值大于设定阈值时，需要对该帧进行噪声估计。帧差计算方法如下式，其中，D(x,y)为连续两帧图像之间的差分图像，I(t)和I(t-1)分别为t和t-1时刻的图像，T为差分图像二值化时选取的阈值，D(x,y)=1表示前景，D(x,y)=0表示背景：
Figure 542733DEST_PATH_IMAGE001
。
（1.3）将视频帧不相交的部分分成若干224×224的小块，将平均亮度值小于50以及大于200的块剔除，计算剩余像素块的边缘强度，并筛选出边缘强度最大的n个块。所述边缘强度的计算方法，用3×3的卷积核进行均值滤波，与源像素相减的绝对值即为该像素的边缘强度，小块内所有像素边缘强度求和得到该块的边缘强度，所述方法包括以下步骤：
（1.3.1）令
Figure 186204DEST_PATH_IMAGE002
表示中心点在(x,y)处，大小为(m×n)的滤波器窗口。均值滤波器就是计算窗口区域的像素均值，然后将均值赋值给窗口中心点处的像素，其中，g(s,t)表示源像素，f(x,y)表示均值滤波后的像素：
Figure 521371DEST_PATH_IMAGE003
。
（1.3.2）用p1表示该像素的边缘强度，O1表示整块的边缘强度，整块的边缘强度计算方式如下：
Figure 187975DEST_PATH_IMAGE004
。
Figure 266790DEST_PATH_IMAGE005
。
（2）利用所述分块的噪声估计模型对筛选出来的n个像素块进行噪声估计，得到像素块的噪声估计分类。
（3）根据像素块的边缘强度分配权重，将每个像素块的噪声估计评分进行融合得到整帧的噪声估计分类结果。
（4）对所有进行噪声估计的图像帧的噪声估计评分取平均值得到该视频的噪声估计评分。
如图2所示，本发明分块的噪声估计模型的训练过程具体包括以下步骤：
（a）首先筛选一批高清视频，对高清视频进行不同码率的转码压缩，得到一批噪声强度不同的视频，作为训练数据。
（b）对高清视频按照一定间隔随机抽帧采样，筛选出一批高清图像帧，对所选图像帧分成224×224的像素块。
（c）在带噪声的视频中找到与骤高清像素块对应的带噪声的像素块，并计算它们对应的VMAF分数。
（d）根据VMAF分数对像素块进行噪声强度分类，共分为5类，VMAF分数为(95,100]、(90,95]、(80,90]、(70,80]、(0,70]，分别表示噪声强度从Top1到Top5。
（e）将以上数据输入卷积神经网络ResNet 50进行训练，输出每一类噪声强度的的预测概率，取概率最大值作为分类结果。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (4)

1.一种基于分块的视频噪声估计方法，其特征在于，所述方法包括以下步骤：
（1）对输入视频进行抽帧处理，利用相邻两帧的帧差筛选出需要进行噪声估计的图像帧；
（2）将步骤（1）中筛选的图像帧分成均匀的像素块，并剔除平均亮度值小于50以及大于200的像素块，计算剩余像素块的边缘强度，选出边缘强度最大的n个像素块；
（3）将边缘强度最大的n个像素块输入分块的噪声估计模型进行噪声估计，得到像素块的噪声估计评分；
（4）根据像素块的边缘强度分配权重，将每个像素块的噪声估计评分进行融合得到整帧的噪声估计分类结果；
（5）对所有进行噪声估计的图像帧的噪声估计评分取平均值得到该视频的噪声估计评分。
2.根据权利要求1所述的方法，其特征在于，所述的对输入视频进行抽帧处理，是通过计算相邻两帧的帧差，并为所述帧差设定阈值，如果相邻两帧的帧差值小于设定的阈值，说明相邻两帧相差不大，没有必要一一进行噪声估计，当相邻两帧的帧差值大于或者等于设定阈值，需要对该帧进行噪声估计。
3.根据权利要求1所述的方法，其特征在于，所述步骤（2）中的边缘强度的计算方法具体为：用3×3的卷积核对所述像素块内的像素进行均值滤波，与源像素相减的绝对值即为该像素的边缘强度，小块内所有像素边缘强度求和得到该像素块的边缘强度。
4.根据权利要求1所述的方法，其特征在于，所述步骤（3）中分块的噪声估计模型，其训练过程为：
（a）首先筛选一批高清视频，对高清视频进行不同码率的转码压缩，得到一批噪声强度不同的视频，作为训练数据；
（b）对高清视频按照一定间隔随机抽帧采样，筛选出一批高清图像帧，对所选图像帧随机截取成均匀的像素块；
（c）在带噪声的视频中找到与步骤（b）的高清像素块对应的带噪声的像素块，并计算它们对应的VMAF分数；
（d）根据VMAF分数对像素块进行噪声强度分类，共分为5类，VMAF分数为(95,100]、(90,95]、(80,90]、(70,80]、(0,70]，分别表示噪声强度从Top1到Top5；
（e）将以上数据输入卷积神经网络ResNet 50进行训练，输出每一类噪声强度的的预测概率，取概率最大值作为分类结果。
CN202010413349.3A 2020-05-15 2020-05-15 一种基于分块的视频噪声估计方法 Pending CN111340839A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010413349.3A CN111340839A (zh) 2020-05-15 2020-05-15 一种基于分块的视频噪声估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010413349.3A CN111340839A (zh) 2020-05-15 2020-05-15 一种基于分块的视频噪声估计方法

Publications (1)

Publication Number Publication Date
CN111340839A true CN111340839A (zh) 2020-06-26

Family

ID=71186443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010413349.3A Pending CN111340839A (zh) 2020-05-15 2020-05-15 一种基于分块的视频噪声估计方法

Country Status (1)

Country Link
CN (1) CN111340839A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381744A (zh) * 2020-10-27 2021-02-19 杭州微帧信息科技有限公司 一种av1合成胶片颗粒自适应前处理的方法
WO2022143421A1 (zh) * 2020-12-31 2022-07-07 百果园技术(新加坡)有限公司 噪声强度估计方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448077A (zh) * 2008-12-26 2009-06-03 四川虹微技术有限公司 一种自适应视频图像3d降噪方法
US20100091194A1 (en) * 2007-03-31 2010-04-15 Sony Deutschland Gmbh Noise reduction method and unit for an image frame
CN103428409A (zh) * 2012-05-15 2013-12-04 深圳中兴力维技术有限公司 一种基于固定场景的视频降噪处理方法及装置
CN109584204A (zh) * 2018-10-15 2019-04-05 上海途擎微电子有限公司 一种图像噪声强度估计方法、存储介质、处理及识别装置
CN110324621A (zh) * 2019-07-04 2019-10-11 北京达佳互联信息技术有限公司 视频编码方法、装置、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100091194A1 (en) * 2007-03-31 2010-04-15 Sony Deutschland Gmbh Noise reduction method and unit for an image frame
CN101448077A (zh) * 2008-12-26 2009-06-03 四川虹微技术有限公司 一种自适应视频图像3d降噪方法
CN103428409A (zh) * 2012-05-15 2013-12-04 深圳中兴力维技术有限公司 一种基于固定场景的视频降噪处理方法及装置
CN109584204A (zh) * 2018-10-15 2019-04-05 上海途擎微电子有限公司 一种图像噪声强度估计方法、存储介质、处理及识别装置
CN110324621A (zh) * 2019-07-04 2019-10-11 北京达佳互联信息技术有限公司 视频编码方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381744A (zh) * 2020-10-27 2021-02-19 杭州微帧信息科技有限公司 一种av1合成胶片颗粒自适应前处理的方法
WO2022143421A1 (zh) * 2020-12-31 2022-07-07 百果园技术(新加坡)有限公司 噪声强度估计方法、装置及电子设备

Similar Documents

Publication Publication Date Title
Ullah et al. Light-DehazeNet: a novel lightweight CNN architecture for single image dehazing
CN108520504B (zh) 一种基于生成对抗网络端到端的模糊图像盲复原方法
CN109272509B (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
CN107729908B (zh) 一种机器学习分类模型的建立方法、装置及系统
US20150003727A1 (en) Background detection as an optimization for gesture recognition
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN109472193A (zh) 人脸检测方法及装置
Yang et al. Modeling the screen content image quality via multiscale edge attention similarity
CN111696064B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN111340839A (zh) 一种基于分块的视频噪声估计方法
Das et al. A comparative study of single image fog removal methods
Gu et al. Learning a unified blind image quality metric via on-line and off-line big training instances
CN111369477A (zh) 一种针对视频恢复任务的预分析和工具自适应的方法
Chen et al. Counter-propagation artificial neural network-based motion detection algorithm for static-camera surveillance scenarios
CN115760870A (zh) 一种图像重点区域的分割方法、装置、设备及存储介质
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
CN107633527B (zh) 基于全卷积神经网络的目标追踪方法及装置
CN110689498A (zh) 一种基于对非关注点部分分级模糊的高清视频优化方法
CN109410134A (zh) 一种基于图像块分类的自适应去噪方法
CN112200010A (zh) 一种社区监控场景下的人脸采集质量评估策略
Teixeira et al. Object segmentation using background modelling and cascaded change detection
CN116612355A (zh) 人脸伪造识别模型训练方法和装置、人脸识别方法和装置
CN112307895A (zh) 一种社区监控场景下人群聚集异常行为检测方法
CN115719314A (zh) 一种去拖影方法、去拖影装置及电子设备
CN116110095A (zh) 一种人脸过滤模型的训练方法、人脸识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626

RJ01 Rejection of invention patent application after publication