CN113902638B - 结合卷积神经网络和轻型自适应中值滤波视频降噪方法 - Google Patents
结合卷积神经网络和轻型自适应中值滤波视频降噪方法 Download PDFInfo
- Publication number
- CN113902638B CN113902638B CN202111171295.5A CN202111171295A CN113902638B CN 113902638 B CN113902638 B CN 113902638B CN 202111171295 A CN202111171295 A CN 202111171295A CN 113902638 B CN113902638 B CN 113902638B
- Authority
- CN
- China
- Prior art keywords
- noise
- video image
- neural network
- convolutional neural
- noise reduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 78
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 40
- 150000003839 salts Chemical class 0.000 claims abstract description 30
- 235000002566 Capsicum Nutrition 0.000 claims abstract description 29
- 239000006002 Pepper Substances 0.000 claims abstract description 29
- 235000016761 Piper aduncum Nutrition 0.000 claims abstract description 29
- 235000017804 Piper guineense Nutrition 0.000 claims abstract description 29
- 235000008184 Piper nigrum Nutrition 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000003044 adaptive effect Effects 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 235000012434 pretzels Nutrition 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 230000001537 neural effect Effects 0.000 claims 1
- 241000722363 Piper Species 0.000 abstract description 28
- 238000005065 mining Methods 0.000 abstract description 3
- 230000002401 inhibitory effect Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
本发明公开了一种结合卷积神经网络和轻型自适应中值滤波视频降噪方法，该方法针对传统自适应中值滤波因高密度椒盐噪声情况下需要自适应选择滤波模板而增加时间开销的问题，简化传统自适应中值滤波算法，选择固定尺寸的滤波模板，缓解高密度噪声污染情况下自适应选择滤波模板尺寸增加时间开销的问题，同时也能滤除大部分噪声，且在弱噪声情况下能够尽量保留图像细节。然后将轻型自适应中值过滤的操作合并到卷积神经网络中，利用深层卷积神经网络有效挖掘图像特征的优点，训练成为一个可以统一处理各级椒盐噪声模型。本发明适用于图像未知噪声水平的椒盐噪声去除，达到有效抑制视频图像中的椒盐噪声，恢复出高质量的视频图像目的。
Description
技术领域
本发明涉及视频处理技术领域，特别涉及一种结合卷积神经网络和轻型自适应中值滤波视频降噪方法，用于去除视频椒盐噪声。
背景技术
视频图片在网络采集、传输及接收的全过程中，由于处在复杂的各种外部环境中，存在各种干扰，这些复杂的干扰因素都有可能会对图像形成噪声。而椒盐噪声是一种常见的图像脉冲污染，一般来说，被椒盐噪声污染的像素会被数字化成最大或最小强度。椒盐噪声污染产生的主要原因是图像采集和记录过程中出现的误差。例如，廉价、低成本的传感器广泛应用于监控摄像头，导致像素的A/D转换易出现故障，恶劣的天气和通信信道的质量不佳都会成为产生椒盐噪声的诱因。这些噪点对后续的图像识别，边缘检测，目标跟踪等任务都有很大的负面影响，因此在图像预处理过程中，抑制图像中椒盐噪声实现高质量图像的恢复是一个非常重要的环节。
对于椒盐噪声污染的图像，中值滤波被认为是最有效的降噪方法，但是中值滤波在没有考虑局部特征的情况下会导致图像模糊。因此，为了解决这一局限性，很多基于中值滤波的改进方法也被提出，例如加权中值滤波、中央加权中值滤波、方向加权中值滤波和开关中值滤波等，但以上方法在图像被低密度椒盐噪声污染时，可以较好的恢复图像，但无法很好处理图像被高密度椒盐噪声污染的情况。针对此问题，自适应中值滤波器被提出，它能够滤除高密度的椒盐噪声，但它不能很好的保留图像细节且以高计算时间为代价。
发明内容
本发明要解决的技术问题是：提供一种结合卷积神经网络和轻型自适应中值滤波视频降噪方法，来有效抑制视频图像中的椒盐噪声，恢复出高质量的视频图像。
为实现上述目的，本发明首先针对传统自适应中值滤波因高密度椒盐噪声情况下需要自适应选择滤波模板而增加时间开销的问题，提出轻型自适应中值滤波算法。其次，将轻型自适应中值滤波算法看成一种神经网络操作，成为轻型自适应中值滤波层，并和降噪卷积神经网络进行结合。先利用轻型自适应中值滤波层对噪声视频图像进行滤波得到初步降噪视频图像，然后将初步降噪视频图像输入降噪卷积神经网络进行训练，使通过降噪卷积神经网络学习得到的模型从初步降噪视频图像中学习噪声的分布。最后将待降噪的噪声视频图像输入到轻型自适应中值滤波层和训练好的模型中，通过计算得到降噪后的视频图像。
进一步的，本发明提出的一种结合卷积神经网络和轻型自适应中值滤波视频降噪方法具体包括如下步骤：
步骤1：简化传统自适应中值滤波算法，得到轻型自适应中值滤波算法；
步骤2：将轻型自适应中值滤波算法看成一种神经网络操作，生成轻型自适应中值滤波层；
步骤3：获取训练数据集，所述训练数据集中的每一个训练样本包括一张噪声视频图像及其对应的无噪声视频图像，将所述训练数据集中的任意一张噪声视频图像y作为轻型自适应中值滤波层的输入，经过轻型自适应中值滤波层处理后得到初步降噪视频图像ymed；
步骤4：构建降噪卷积神经网络；
步骤5：将L1范数作为所述降噪卷积神经网络的损失函数；
步骤6：将初步降噪视频图像ymed作为所述降噪卷积神经网络的输入，将噪声视频图像y与其对应的无噪声视频图像x作为网络标签，对所述降噪卷积神经网络进行训练，得到初步降噪视频图像ymed到噪声分布v的映射关系；
步骤7：对所述训练数据集中的所有噪声视频图像均执行完步骤3-步骤6的操作称为一轮迭代，取当轮迭代中所有噪声视频图像的初步降噪视频图像到其噪声分布的映射关系的算术平均数作为当轮迭代初步噪声视频图像与噪声分布的映射关系；当迭代次数达到预设值50时，停止训练，得到所述降噪卷积神经网络中最终的初步噪声视频图像与噪声分布的映射关系Rfinal(*)，进而得到训练好的降噪卷积神经网络。
步骤8：将待降噪的噪声视频图像通过轻型自适应中值滤波层得到初步降噪视频图像/>然后将初步降噪视频图像/>输入到训练好的降噪卷积神经网络得到噪声分布然后将初步降噪视频图像/>减去训练好的降噪卷积神经网络输出的噪声分布/>得到降噪后的视频图像/>
具体地，所述步骤1中的轻型自适应中值滤波算法为基于传统自适应中值滤波算法的简化算法。对噪声视频的每一帧图像利用轻型自适应中值滤波算法处理包括：
将椒盐噪声污染的任意一帧噪声视频图像作为当前待处理噪声视频图像y；
对于当前待处理噪声视频图像y中位于第i行第j列的像素点yi,j，选择以yi,j为中心的大小w＝3×3的滤波模板S；
计算滤波模板S内所有像素的最大值中值/>和最小值/>
如果则表明yi,j不是噪声点，保留。否则用/>代替；
针对当前待处理噪声视频图像y中的每个像素点做上述同样的操作，最后输出初步降噪
视频图像ymed。对于ymed中的每个像素点有：
具体地，所述步骤2中轻型自适应中值滤波层以滑动窗口形式处理噪声视频图像所有像素的全部特征通道。
具体地，所述步骤3中噪声视频图像y经过轻型自适应中值滤波层处理后的ymed为：
ymed＝f(y)
这里y为噪声视频图像，f(*)为对噪声视频图像y中每个像素执行轻型自适应中值滤波算法处理。
具体地，所述步骤4中所述降噪卷积神经网络包括17层，其中，第0层为卷积层与激活层的组合，第1层到15层的每层为卷积层、归一化层与激活层的组合，第16层为卷积层。
具体地，所述步骤4中所述降噪卷积神经网络中所有卷积层的卷积核大小为3×3，步长为1，所有激活层采用ReLu函数，所有归一化层采用Batch Normalize函数。
具体地，所述步骤5中的降噪卷积神经网络的损失函数L1范数为：
其中，xi′为与噪声视频图像y对应的无噪声视频图像x的第i'个像素值，yi′为噪声视频图像y的第i'个像素值，为y经过轻型自适应中值滤波层后输出的第i'个像素值，N为噪声视频图像y中的像素值的总个数，||*||1代表1-范数，R(*)表示/>与其噪声分布的映射关系。
具体地，所述步骤8降噪后的视频图像为：
本发明提出了一种结合卷积神经网络和轻型自适应中值滤波视频降噪方法，用于去除图像椒盐噪声，将传统自适应中值滤波进行简化并将其视为一种卷积操作与卷积神经网络相结合。首先，简化传统自适应中值滤波算法，选择固定尺寸的滤波模板，缓解高密度噪声污染情况下自适应选择滤波模板尺寸增加时间开销的问题，同时也能滤除大部分噪声，且在弱噪声情况下能够尽量保留图像细节。然后将轻型自适应中值过滤的操作合并到卷积神经网络中，利用深层卷积神经网络有效挖掘图像特征的优点，训练成为一个可以统一处理各级椒盐噪声模型。此外，卷积神经网络模型非常适合部署在现代强大的GPU上，因此可以利用GPU来提高运行性能。实验结果表明，本发明提出的方法可以实现盲椒盐去噪，且在高密度椒盐噪声的干扰下也能有效恢复出高质量的图像。
附图说明
图1为本发明实施例中降噪流程图；
图2为本发明实施例中轻型自适应中值滤波算法的原理图；
图3为本发明实施例中结合卷积神经网络和轻型自适应中值滤波的全卷积神经网络结构示意图。
具体实施方式
下面根据附图和实施例详细阐述此发明，并对本发明的技术方案进行清楚的描述。此处所选的实施例仅用于解释该发明，并不能够限定此发明。
针对现有基于中值滤波的图像椒盐降噪方法无法很好恢复被高密度椒盐噪声污染的视频图像。本发明提供了一种用于视频图像椒盐降噪的结合卷积神经网络和轻型自适应中值滤波全卷积神经网络的方法，以解决上述相关技术问题。本发明将传统自适应中值滤波算法进行简化，缓解高密度噪声污染情况下自适应选择滤波模板尺寸增加时间开销的问题，同时也能滤除大部分噪声，且在弱噪声情况下能够尽量保留图像细节。然后将简化的轻型自适应中值滤波视为一种卷积操作与卷积神经网络相结合，利用深层卷积神经网络有效挖掘图像特征的优点，训练成为一个可以统一处理各级椒盐噪声的模型。下面采用示例性的实施例进行详细说明。
基于上述思想，本实施例提供了一种结合卷积神经网络和轻型自适应中值滤波视频降噪方法，用于去除图像椒盐噪声，其工作流程如图1所示，具体包括如下步骤：
步骤1：简化传统自适应中值滤波算法，得到轻型自适应中值滤波算法，如图2所示，对噪声视频的每一帧图像利用轻型自适应中值滤波算法处理包括：
将椒盐降噪污染的任意一帧噪声视频图像作为当前待处理图像y；
对于当前待处理图像y中位于第i行第j列的像素点yi，j，选择以yi，j为中心的大小w＝3×3的滤波模板S；
计算滤波模板S内所有像素的最大值中值/>和最小值/>
如果则表明yi，j不是噪声点，保留。否则用/>代替yi,j；
针对当前待处理图像y的每个像素做上述同样的操作。
步骤2：将轻型自适应中值滤波算法看成一种神经网络操作，生成轻型自适应中值滤波层；
进一步地，所述步骤2中的轻型自适应中值滤波层以移动窗口的方式应用于每个元素的不同特征通道。例如，一个由RGB通道组成的输入图像，对应3个特征通道，对于输入图像所有像素的每个特征通道，采用轻型自适应中值滤波算法进行滤波。
步骤3：获取训练数据集，所述训练数据集中的每一个训练样本包括一张噪声视频图像及其对应的无噪声视频图像，将所述训练数据集中的任意一张噪声视频图像y作为轻型自适应中值滤波层的输入，经过轻型自适应中值滤波层处理后得到初步降噪视频图像ymed；
进一步地，所述步骤3中噪声视频图像y经过轻型自适应中值滤波层处理后的初步降噪视频图像ymed，可表示为：
ymed＝x+v
这里v为噪声视频图像y中的真实噪声分布。
步骤4：构建降噪卷积神经网络；
进一步地，所述步骤4中降噪卷积神经网络包括17层，第0层为轻型自适应中值滤波层，第0层为卷积层与激活层的组合，第1层到15层的每层为卷积层，归一化层与激活层的组合，第16层为卷积层。
进一步地，所述步骤4中降噪卷积神经网络中所有卷积层的卷积核大小为3×3，步长为1，所有激活层采用ReLu函数，所有归一化层采用Batch Normalize函数。
步骤5：选择降噪卷积神经网络的训练损失函数为L1范数，所述训练损失函数L1范数的表达式为：
其中xi′为噪声视频图像y对应的无噪声视频图像x的第i'个像素值，yi′为噪声视频图像y的第i'个像素值，为y经过轻型自适应中值滤波层后输出的第i'像素值，N为噪声视频图像y中的像素值的总个数，||*||1代表1范数，R(*)表示/>与噪声分布的映射关系。
步骤6：将初步降噪视频图像ymed作为降噪卷积神经网络的输入，将噪声视频图像y与对应的无噪声视频图像作为网络标签，对降噪卷积神经网络进行训练，得到初步降噪视频图像ymed到噪声分布v的映射关系。
步骤7：对所述训练数据集中的所有噪声视频图像均执行完步骤3-步骤6的操作称为一轮迭代，取当轮迭代中所有噪声视频图像的初步降噪视频图像到其噪声分布的映射关系的算术平均数作为当轮迭代初步噪声视频图像与噪声分布的映射关系；当迭代次数达到预设值50时，停止训练，得到所述降噪卷积神经网络中最终的初步噪声视频图像与噪声分布的映射关系Rfinal(*)，进而得到训练好的降噪卷积神经网络，如图3所示。
步骤8：将待降噪的噪声视频图像通过轻型自适应中值滤波层得到初步降噪视频图像/>然后将初步降噪视频图像/>输入到训练好的降噪卷积神经网络模型得到噪声分布/>然后将初步降噪视频图像/>减去训练好的降噪卷积神经网络输出的噪声分布得到降噪后的视频图像。降噪后的视频图像/>为：
以下结合具体实例，对本实施例进行进一步地说明。
第一步：选择添加椒盐噪声的视频数据库VOT2019作为训练数据集，其中噪声水平(一张视频图片中受污染的像素个数占总像素的百分比)的范围为0.1～0.7。
第二步：通过上述步骤2-7的计算方法，训练得到用于椒盐噪声去除的降噪卷积神经网络模型。
第三步：选择无人机视频数据库DTB70中一张图像作为无噪声视频图像，然后添加70％噪声水平的椒盐噪声形成噪声视频图像，经过轻型自适应中值滤波层处理后得到初步降噪视频图像，然后将初步降噪视频图像输入到第二步得到的模型中，得到此时的噪声分布，然后将初步降噪视频图像减去降噪卷积神经网络输出的噪声分布得到降噪后的视频图像。
为了进一步说明本发明方法的优越性，分别利用传统中值滤波和传统自适应中值滤波对同样的噪声视频图像进行降噪。采用峰值信噪比PSNR作为降噪后视频图像的质量评价，PSNR的值如表1所示。从表1可知，本发明所公开的方法的PSNR值最高，降噪效果最好。
表1不同降噪方法的PSNR值
以上所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
Claims (7)
1.一种结合卷积神经网络和轻型自适应中值滤波视频降噪方法，其特征在于，该方法具体包括如下步骤：
步骤1：简化传统自适应中值滤波算法，得到轻型自适应中值滤波算法；
步骤2：将轻型自适应中值滤波算法作为一种神经网络操作，生成轻型自适应中值滤波层；
步骤3：获取训练数据集，所述训练数据集中的每一个训练样本包括一张噪声视频图像及其对应的无噪声视频图像，将所述训练数据集中的任意一张噪声视频图像y作为轻型自适应中值滤波层的输入，经过轻型自适应中值滤波层处理后得到初步降噪视频图像ymed，具体包括：
对于噪声视频图像y中位于第i行第j列的像素点yi,j，选择以yi,j为中心的大小w＝3×3的滤波模板S；
计算滤波模板S内所有像素的最大值中值/>和最小值/>
如果则表明yi,j不是噪声点，保留yi,j的值；否则用/>代替yi,j的值；
针对噪声视频图像y中的每个像素点做上述同样的操作，最后输出初步降噪视频图像ymed，对于ymed中的每个像素点有：
并且，所述轻型自适应中值滤波层以滑动窗口形式处理噪声视频图像所有像素的全部特征通道；
综上，噪声视频图像y经过轻型自适应中值滤波层处理后得到的ymed为：
ymed＝f(y)
这里f(*)为对噪声视频图像y中每个像素执行轻型自适应中值滤波算法处理的函数；
步骤4：构建降噪卷积神经网络；
步骤5：将L1范数作为所述降噪卷积神经网络的损失函数；
步骤6：将初步降噪视频图像ymed作为所述降噪卷积神经网络的输入，将噪声视频图像y与其对应的无噪声视频图像x作为网络标签，对所述降噪卷积神经网络进行训练，得到初步降噪视频图像ymed到噪声分布v的映射关系；
步骤7：对所述训练数据集中的所有噪声视频图像均执行完步骤3-步骤6的操作称为一轮迭代，取当轮迭代中所有噪声视频图像的初步降噪视频图像到其噪声分布的映射关系的算术平均数作为当轮迭代初步噪声视频图像与噪声分布的映射关系；当迭代次数达到预设值k时，停止训练，得到所述降噪卷积神经网络中最终的初步噪声视频图像与噪声分布的映射关系Rfinal(*)，进而得到训练好的降噪卷积神经网络；
步骤8：将待降噪的噪声视频图像通过轻型自适应中值滤波层得到初步降噪视频图像然后将初步降噪视频图像/>输入到训练好的降噪卷积神经网络得到噪声分布然后将初步降噪视频图像/>减去训练好的降噪卷积神经网络输出的噪声分布/>得到降噪后的视频图像/>
2.根据权利要求1所述的结合卷积神经网络和轻型自适应中值滤波视频降噪方法，其特征在于，所述步骤4中的降噪卷积神经网络包括17层，其中，第0层为卷积层与激活层的组合，第1层到15层的每层为卷积层、归一化层与激活层的组合，第16层为卷积层；其中，所有卷积层的卷积核大小为3×3，步长为1；所有激活层采用ReLu函数；所有归一化层采用BatchNormalize函数。
3.根据权利要求2所述的结合卷积神经网络和轻型自适应中值滤波视频降噪方法，其特征在于，所述降噪卷积神经网络的损失函数为：
其中，xi′为与噪声视频图像y对应的无噪声视频图像x的第i'个像素值，yi′为噪声视频图像y的第i'个像素值，为y经过轻型自适应中值滤波层后输出的第i'个像素值，N为噪声视频图像y中的像素值的总个数，||*||1代表1-范数，R(*)表示/>与其噪声分布的映射关系。
4.根据权利要求3所述的结合卷积神经网络和轻型自适应中值滤波视频降噪方法，其特征在于，所述步骤8中降噪后的视频图像为：
5.根据权利要求4所述的结合卷积神经网络和轻型自适应中值滤波视频降噪方法，其特征在于，所述训练数据集为添加椒盐噪声的视频数据库VOT2019，其中噪声水平的范围为0.1～0.7，噪声水平指一张视频图片中受污染的像素个数占总像素的百分比。
6.根据权利要求5所述的结合卷积神经网络和轻型自适应中值滤波视频降噪方法，其特征在于，选择无人机视频数据库DTB70中一张图像作为无噪声视频图像，然后添加70％噪声水平的椒盐噪声形成所述待降噪的噪声视频图像
7.根据权利要求6所述的结合卷积神经网络和轻型自适应中值滤波视频降噪方法，其特征在于，所述k＝50。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111171295.5A CN113902638B (zh) | 2021-10-08 | 2021-10-08 | 结合卷积神经网络和轻型自适应中值滤波视频降噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111171295.5A CN113902638B (zh) | 2021-10-08 | 2021-10-08 | 结合卷积神经网络和轻型自适应中值滤波视频降噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113902638A CN113902638A (zh) | 2022-01-07 |
| CN113902638B true CN113902638B (zh) | 2024-04-09 |
Family
ID=79190450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111171295.5A Active CN113902638B (zh) | 2021-10-08 | 2021-10-08 | 结合卷积神经网络和轻型自适应中值滤波视频降噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113902638B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116539647B (zh) * | 2023-04-10 | 2024-01-23 | 电子科技大学 | 一种基于分层深度神经网络的微量元素含量预测方法 |
| CN117423113B (zh) * | 2023-12-18 | 2024-03-05 | 青岛华正信息技术股份有限公司 | 一种档案ocr图像自适应去噪方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093443A (zh) * | 2012-12-26 | 2013-05-08 | 南京信息工程大学 | 基于ga-bp神经网络的图像椒盐噪声自适应滤波方法 |
| CN108647648A (zh) * | 2018-05-14 | 2018-10-12 | 电子科技大学 | 一种基于卷积神经网络的可见光条件下的舰船识别系统及方法 |
| CN110322407A (zh) * | 2019-06-03 | 2019-10-11 | 辽宁师范大学 | 基于深度残差网络的图像椒盐噪声去除方法 |
| CN112733589A (zh) * | 2020-10-29 | 2021-04-30 | 广西科技大学 | 一种基于深度学习的红外图像行人检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI323606B (en) * | 2006-02-22 | 2010-04-11 | Huper Lab Co Ltd | Image noise reduction method based on local correlation |
| US9208545B2 (en) * | 2013-09-20 | 2015-12-08 | Texas Instruments Incorporated | Adaptive weighted-local-difference order statistics filters |
-
2021
- 2021-10-08 CN CN202111171295.5A patent/CN113902638B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103093443A (zh) * | 2012-12-26 | 2013-05-08 | 南京信息工程大学 | 基于ga-bp神经网络的图像椒盐噪声自适应滤波方法 |
| CN108647648A (zh) * | 2018-05-14 | 2018-10-12 | 电子科技大学 | 一种基于卷积神经网络的可见光条件下的舰船识别系统及方法 |
| CN110322407A (zh) * | 2019-06-03 | 2019-10-11 | 辽宁师范大学 | 基于深度残差网络的图像椒盐噪声去除方法 |
| CN112733589A (zh) * | 2020-10-29 | 2021-04-30 | 广西科技大学 | 一种基于深度学习的红外图像行人检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| Fine-tuning convolutional neural network based on relaxed Bayesian-optimized support vector machine for random-valued impulse noise removal;Xin Lu, Fusheng Li;《Journal of Electronic Imaging》;20230118;第32卷(第01期);全文 * |
| Median filters combined with denoising convolutional neural network for Gaussian and impulse noises;Alam Noor等;《Multimedia Tools and Applications》;20200305;全文 * |
| 基于神经网络噪声检测的自适应中值滤波器;宋寅卯;李晓娟;刘磊;;电视技术;20110302(05);全文 * |
| 集成SVM的图像椒盐噪声去除方法;王晨;贾晓芬;;青岛科技大学学报(自然科学版);20200603(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113902638A (zh) | 2022-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107527332B (zh) | 基于改进Retinex的低照度图像色彩保持增强方法 | |
| CN113902638B (zh) | 结合卷积神经网络和轻型自适应中值滤波视频降噪方法 | |
| CN111028163A (zh) | 一种基于卷积神经网络的联合图像去噪与弱光增强方法 | |
| CN110047055B (zh) | 一种红外图像细节增强及去噪方法 | |
| CN113989168B (zh) | 一种针对椒盐噪声的自适应非局部均值滤波方法 | |
| CN111489303A (zh) | 一种低照度环境下海事图像增强方法 | |
| CN111260591B (zh) | 一种基于注意力机制的图像自适应去噪方法 | |
| CN105913392A (zh) | 复杂环境下退化图像综合质量提升方法 | |
| CN108109123B (zh) | 一种图像去噪方法 | |
| Jana et al. | Pixel density based trimmed median filter for removal of noise from surface image | |
| CN106530254A (zh) | 一种基于小波阈值函数与改进中值滤波融合的抑制图像混合噪声算法 | |
| US9014503B2 (en) | Noise-reduction method and apparatus | |
| CN104899842B (zh) | 用于远距离线结构光图像的排序自适应极值中值滤波方法 | |
| JP2022103003A (ja) | 画像ヘイズ除去方法及びその方法を用いる画像ヘイズ除去装置 | |
| CN109377450A (zh) | 一种边缘保护的去噪方法 | |
| CN111861896A (zh) | 一种面向uuv的水下图像色彩补偿与恢复方法 | |
| CN104318529A (zh) | 处理在恶劣环境中所拍摄低照度图像的方法 | |
| CN115409872B (zh) | 一种水下摄像机图像优化方法 | |
| CN115965544A (zh) | 自适应亮度调节的图像增强方法及系统 | |
| CN117994154A (zh) | 一种基于传感器的图像智能去噪方法 | |
| CN116912115A (zh) | 一种水下图像自适应增强方法、系统、设备及存储介质 | |
| CN114519676A (zh) | 基于Bayer格式的raw图像的去噪装置及方法 | |
| CN114331939A (zh) | 同态滤波的细节增强多曝光图像融合方法及可存储介质 | |
| CN116862809A (zh) | 一种低曝光条件下的图像增强方法 | |
| CN117392036A (zh) | 基于照明幅度的低光图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |