CN112883916B - 一种基于图像块相似性先验的视频去噪方法 - Google Patents

一种基于图像块相似性先验的视频去噪方法 Download PDF

Info

Publication number
CN112883916B
CN112883916B CN202110300236.7A CN202110300236A CN112883916B CN 112883916 B CN112883916 B CN 112883916B CN 202110300236 A CN202110300236 A CN 202110300236A CN 112883916 B CN112883916 B CN 112883916B
Authority
CN
China
Prior art keywords
image block
video
image
pixel
restored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110300236.7A
Other languages
English (en)
Other versions
CN112883916A (zh
Inventor
尹晓晴
李卫丽
杨亚洲
章原发
郭延明
邓劲生
刘付军
胡腾飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110300236.7A priority Critical patent/CN112883916B/zh
Publication of CN112883916A publication Critical patent/CN112883916A/zh
Application granted granted Critical
Publication of CN112883916B publication Critical patent/CN112883916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于图像块相似性先验的视频去噪方法，构建图像块相似性先验，将该先验引入优化模型中，能够避免复原后图像块之间存在较大差异的问题，充分挖掘噪声视频图像块特征。该方法首先采集含有噪声的视频图像序列，然后在噪声视频图像序列中搜索相似图像块并构成图像块向量矩阵，在此基础上构造图像块相似性先验并引入到优化模型中进行求解，最后通过像素融合生成复原视频图像序列。该方法能够解决现有技术中无法充分利用图像块相似性、去噪效果差的问题，有效提高去噪后的视频质量。

Description

一种基于图像块相似性先验的视频去噪方法
技术领域
本发明涉及图像处理技术，具体指一种基于图像块相似性先验的视频去噪方法。
背景技术
视频图像在采集和传输过程中可能受到噪声的干扰，并对后续的目标检测、目标识别、目标跟踪和语义分割等视频内容智能分析过程造成不利影响。如何有效去除视频噪声已成为图像处理和计算机视觉领域的重要问题之一。现有视频去噪方法未能利用图像块的相似性构建完备的先验项，因此可能导致复原后的图像块之间存在较大差异，去噪效果欠佳。因此，利用图像块的相似性提出更加有效的视频去噪方法，是视频图像处理中需要解决的问题。
发明内容
本发明为克服上述问题，旨在提供一种基于图像块相似性先验的视频去噪方法，通过构建图像块相似性先验并将该先验引入优化模型中，以解决现有技术中无法充分利用图像块相似性、去噪效果差的问题。
一种基于图像块相似性先验的视频去噪方法，其特征在于，包括以下步骤：
步骤一：采集含有噪声的视频图像序列；
所述步骤一中含有噪声的视频序列帧数为Nf，每帧视频图像分辨率为H×W，其中H,W分别为视频图像高和宽。
步骤二：依次选择噪声视频图像序列第k帧Fk作为参考帧，对于在Fk中以像素
Figure BDA0002985941090000011
为中心、尺寸为n×n的图像块
Figure BDA0002985941090000012
在噪声视频序列的每一帧视频图像中搜索
Figure BDA0002985941090000013
的Ns个相似图像块，其中k＝1,2,…,Nf，i、j分别为像素行数和列数；基于搜索到的相似图像块生成图像块向量矩阵
Figure BDA0002985941090000014
所述步骤二中图像块向量矩阵的生成方法为，对于搜索到的每个相似图像块，将其所有列首尾相接形成一个列向量，用所有相似图像块对应的列向量构成图像块向量矩阵
Figure BDA0002985941090000015
其行数和列数分别为n2和NfNs。
步骤三：针对图像块向量矩阵
Figure BDA0002985941090000016
构造图像块相似性先验：
Figure BDA0002985941090000017
其中M定义为
Figure BDA0002985941090000021
α为全1向量
Figure BDA0002985941090000022
Figure BDA0002985941090000023
为复原图像块向量矩阵，通过求解下述优化问题计算复原图像块：
Figure BDA0002985941090000024
其中，
Figure BDA0002985941090000025
为由于块匹配误差造成的偏差矩阵，λ、μ、η为系数，||·||*为核范数，||·||1为l1范数，||·||F为矩阵的Frobenius范数，对该模型进行求解，生成复原图像块；
所述步骤三中优化问题求解采用基于凸优化算法的迭代求解方式，复原图像块的生成方法为，对优化问题进行求解生成复原图像块向量矩阵
Figure BDA0002985941090000026
然后将
Figure BDA0002985941090000027
各列按行进行分解，生成NfNs个尺寸为n×n的复原图像块。
步骤四：通过像素融合生成复原视频图像序列，对于第t帧复原视频图像中像素位置为i,j的像素
Figure BDA0002985941090000028
其像素值为：
Figure BDA0002985941090000029
其中|·|为求像素值操作，
Figure BDA00029859410900000210
为包含像素
Figure BDA00029859410900000211
的复原图像块数量，
Figure BDA00029859410900000212
为
Figure BDA00029859410900000213
在第q个复原图像块中对应的像素值，其中
Figure BDA00029859410900000214
本发明有益效果：与现有技术中的视频去噪方法相比，本发明的方法能够充分挖掘噪声视频图像块特征，将图像块相似性先验引入优化模型中，进一步提升图像块复原结果，有效提高去噪后的视频质量。
附图说明
图1是本发明方法的流程图；
图2是清晰视频图像和对应的含噪声视频图像；
图3是对优化模型进行求解得到的视频去噪结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例提供的一种基于图像块相似性先验的视频去噪方法，包括如下步骤：
步骤一：采集含有噪声的视频图像序列，视频序列帧数为50，每帧视频图像分辨率为240×320。含噪声视频图像序列，可以在低照度环境下直接采集，也可以通过在清晰噪声视频图像中增加高斯噪声和脉冲噪声的方式进行采集。在具体实施例中，高斯噪声的标准差范围可设置为[20,50]，脉冲噪声破坏的像素比例可设置为[0.1,0.3]，脉冲噪声灰度值大小可设置为服从[0,255]均匀分布。清晰视频图像和对应的含噪声视频图像如图2所示。
步骤二：依次选择噪声视频图像序列第k帧Fk(k＝1,2,…,50)作为参考帧，在Fk中以像素
Figure BDA0002985941090000031
(i，j分别为像素行数和列数)为中心、尺寸为8×8的图像块
Figure BDA0002985941090000032
在噪声视频序列的每一帧视频图像中搜索
Figure BDA0002985941090000033
的5个相似图像块。为了达到计算开销和最终效果的平衡，图像处理领域中经常采用8×8的图像块尺寸，在本实施例中也采取该尺寸。对于搜索到的每个相似图像块将其所有列首尾相接形成一个列向量，列向量的尺寸为64×1。相似图像块数量为50×5＝250；用所有相似图像块对应的列向量构成图像块向量矩阵
Figure BDA0002985941090000034
其行数和列数分别为64和250；
步骤三：针对图像块向量矩阵
Figure BDA0002985941090000035
构造图像块相似性先验：
Figure BDA0002985941090000036
其中M定义为
Figure BDA0002985941090000037
α为全1向量α＝[1]250×1，
Figure BDA0002985941090000038
为复原图像块向量矩阵。该先验中，第1项的作用为提取相似图像块的结构信息，第2项的作用为图像块相似性约束。通过求解下述优化问题计算复原图像块：
Figure BDA0002985941090000039
其中，
Figure BDA00029859410900000310
为由于块匹配误差造成的偏差矩阵，λ、μ、η为系数，||·||*为核范数，||·||1为l1范数，||·||F为矩阵的Frobenius范数。该优化模型中，前两项为图像块相似性先验，第3项为块匹配误差的约束，第4项为图像噪声部分的约束。对该模型进行求解，生成复原图像块向量矩阵
Figure BDA00029859410900000311
然后将
Figure BDA00029859410900000312
各列按行进行分解，生成250个尺寸为8×8的复原图像块；
步骤四：通过像素融合生成复原视频图像序列。对于第t帧复原视频图像中像素位置为(i,j)的像素
Figure BDA00029859410900000313
其像素值为：
Figure BDA00029859410900000314
其中|·|为求像素值操作，像素值包括R,G,B三个通道值。
Figure BDA0002985941090000041
为包含像素
Figure BDA0002985941090000042
的复原图像块数量，
Figure BDA0002985941090000043
为
Figure BDA0002985941090000044
在第
Figure BDA0002985941090000045
个复原图像块中对应的像素值。通过像素融合，可以减小复原视频图像中的块状效应，提高复原结果的平滑性，进一步改善最终效果。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (5)

1.一种基于图像块相似性先验的视频去噪方法，其特征在于，包括以下步骤：
步骤一：采集含有噪声的视频图像序列；
步骤二：依次选择噪声视频图像序列第k帧Fk作为参考帧，对于在Fk中以像素
Figure FDA0003557652780000011
为中心、尺寸为n×n的图像块
Figure FDA0003557652780000012
在噪声视频序列的每一帧视频图像中搜索
Figure FDA0003557652780000013
的Ns个相似图像块，其中k＝1,2,…,Nf，i、j分别为像素行数和列数；基于搜索到的相似图像块生成图像块向量矩阵
Figure FDA0003557652780000014
步骤三：针对图像块向量矩阵
Figure FDA0003557652780000015
构造图像块相似性先验：
Figure FDA0003557652780000016
其中M定义为
Figure FDA0003557652780000017
α为全1向量
Figure FDA0003557652780000018
Figure FDA0003557652780000019
为复原图像块向量矩阵，通过求解下述优化问题计算复原图像块：
Figure FDA00035576527800000110
其中，
Figure FDA00035576527800000111
为由于块匹配误差造成的偏差矩阵，λ、μ、η为系数，||·||*为核范数，||·||1为l1范数，||·||F为矩阵的Frobenius范数，对该优化问题进行求解，生成复原图像块；
步骤四：通过像素融合生成复原视频图像序列，对于第t帧复原视频图像中像素位置为i,j的像素
Figure FDA00035576527800000112
其像素值为：
Figure FDA00035576527800000113
其中|·|为求像素值操作，
Figure FDA00035576527800000114
为包含像素
Figure FDA00035576527800000115
的复原图像块数量，
Figure FDA00035576527800000116
为
Figure FDA00035576527800000117
在第q个复原图像块中对应的像素值，其中q＝1,2,…,
Figure FDA00035576527800000118
2.根据权利要求1所述的一种基于图像块相似性先验的视频去噪方法，其特征在于：所述步骤一中含有噪声的视频序列帧数为Nf，每帧视频图像分辨率为H×W，其中H,W分别为视频图像高和宽。
3.根据权利要求1所述的一种基于图像块相似性先验的视频去噪方法，其特征在于：所述步骤二中图像块向量矩阵的生成方法为，对于搜索到的每个相似图像块，将其所有列首尾相接形成一个列向量，用所有相似图像块对应的列向量构成图像块向量矩阵
Figure FDA00035576527800000119
其行数和列数分别为n2和NfNs。
4.根据权利要求1所述的一种基于图像块相似性先验的视频去噪方法，其特征在于：所述步骤三中优化问题求解采用基于凸优化算法的迭代求解方式。
5.根据权利要求1所述的一种基于图像块相似性先验的视频去噪方法，其特征在于：所述步骤三中复原图像块的生成方法为，对优化问题进行求解生成复原图像块向量矩阵
Figure FDA0003557652780000021
然后将
Figure FDA0003557652780000022
各列按行进行分解，生成NfNs个尺寸为n×n的复原图像块。
CN202110300236.7A 2021-03-22 2021-03-22 一种基于图像块相似性先验的视频去噪方法 Active CN112883916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110300236.7A CN112883916B (zh) 2021-03-22 2021-03-22 一种基于图像块相似性先验的视频去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110300236.7A CN112883916B (zh) 2021-03-22 2021-03-22 一种基于图像块相似性先验的视频去噪方法

Publications (2)

Publication Number Publication Date
CN112883916A CN112883916A (zh) 2021-06-01
CN112883916B true CN112883916B (zh) 2022-05-06

Family

ID=76041575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110300236.7A Active CN112883916B (zh) 2021-03-22 2021-03-22 一种基于图像块相似性先验的视频去噪方法

Country Status (1)

Country Link
CN (1) CN112883916B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI393073B (zh) * 2009-09-21 2013-04-11 Pixart Imaging Inc 影像雜訊濾除方法
CN103049892B (zh) * 2013-01-27 2015-05-27 西安电子科技大学 基于相似块矩阵秩最小化的非局部图像去噪方法
CN103186894B (zh) * 2013-03-22 2015-10-07 南京信息工程大学 一种自适应分块的多聚焦图像融合方法
CN105338219B (zh) * 2014-07-23 2018-07-13 北京大学 视频图像去噪处理方法和装置
CN105872315B (zh) * 2016-04-01 2019-03-08 广西大学 一种针对混合噪声的视频去噪方法
CN105957026B (zh) * 2016-04-22 2019-02-05 温州大学 基于非局部相似图像块内部和块间隐性低秩结构的去噪方法
CN107730466A (zh) * 2017-10-11 2018-02-23 北京工业大学 基于结构自相似性和低秩矩阵表示的图像盲复原方法

Also Published As

Publication number Publication date
CN112883916A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
Ullah et al. Light-DehazeNet: a novel lightweight CNN architecture for single image dehazing
US11928792B2 (en) Fusion network-based method for image super-resolution and non-uniform motion deblurring
CN108256562B (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
CN111028177A (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
Zhang et al. Single image dehazing via dual-path recurrent network
CN110930327B (zh) 基于级联深度残差网络的视频去噪方法
CN112598587B (zh) 一种联合人脸去口罩和超分辨率的图像处理系统和方法
CN107123094A (zh) 一种混合泊松、高斯和脉冲噪声的视频去噪方法
CN116152591B (zh) 模型训练方法、红外小目标检测方法、装置及电子设备
CN109003247B (zh) 彩色图像混合噪声的去除方法
CN108171124B (zh) 一种相似样本特征拟合的人脸图像清晰化方法
CN107729885B (zh) 一种基于多重残差学习的人脸增强方法
CN110136164B (zh) 基于在线透射变换、低秩稀疏矩阵分解去除动态背景的方法
Wang et al. Uneven image dehazing by heterogeneous twin network
CN112883916B (zh) 一种基于图像块相似性先验的视频去噪方法
CN109002802B (zh) 基于自适应鲁棒主成分分析的视频前景分离方法和系统
CN116703768A (zh) 盲点去噪网络模型的训练方法、装置、介质和设备
CN113256528B (zh) 基于多尺度级联深度残差网络的低照度视频增强方法
CN113592738B (zh) 一种水下扭曲图像复原方法
CN111340740B (zh) 一种融合多种正则化方法提升视频恢复的时域稳定性方法
CN112529815B (zh) 一种雨后真实图像中雨滴去除方法及系统
CN112767261A (zh) 一种基于广义非凸张量鲁棒主成分分析模型的针对彩色图像和视频的非局部去噪框架
CN113781333A (zh) 一种基于引导滤波的gan网络对水下图像进行处理的方法
KR20110009761A (ko) 지능 영상 감시를 위한 이동 객체 실시간 검출 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant