CN112019704B - 一种基于先验信息和卷积神经网络的视频去噪方法 - Google Patents

一种基于先验信息和卷积神经网络的视频去噪方法 Download PDF

Info

Publication number
CN112019704B
CN112019704B CN202011100020.8A CN202011100020A CN112019704B CN 112019704 B CN112019704 B CN 112019704B CN 202011100020 A CN202011100020 A CN 202011100020A CN 112019704 B CN112019704 B CN 112019704B
Authority
CN
China
Prior art keywords
video
noise
frame
denoising
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011100020.8A
Other languages
English (en)
Other versions
CN112019704A (zh
Inventor
朱树元
申屠敏健
王忠荣
曾辽原
王正宁
刘光辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202011100020.8A priority Critical patent/CN112019704B/zh
Publication of CN112019704A publication Critical patent/CN112019704A/zh
Application granted granted Critical
Publication of CN112019704B publication Critical patent/CN112019704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

本发明属于视频处理领域，尤其涉及视频增强技术，具体提供一种基于先验信息和卷积神经网络的视频去噪方法。本发明基于卷积神经网络对噪声视频进行去噪，构建由两个部分连接构成的去噪神经网络，其中，第一部分为依次连接的4层1×1卷积核，每个卷积核后均连接ReLU激活函数；第二部分为依次连接的15层3×3 Octave卷积核，第1到14层卷积核后均连接批标准化及ReLU激活函数；同时，充分在训练集构建及待处理噪声视频数据预处理过程中，充分利用前后帧信息。综上所述，本发明与传统方法相比，无需人工手动调整参数，去噪效果好，能很好的保持视频中纹理细节，使用方便，运行速度快，鲁棒性高。

Description

一种基于先验信息和卷积神经网络的视频去噪方法
技术领域
本发明属于视频处理领域，尤其涉及视频增强技术，具体提供一种基于先验信息和卷积神经网络的视频去噪方法。
背景技术
在日常生活中，由于拍摄条件的限制以及发送设备、传输设备、接收设备的影响，视频经常受到噪声干扰，使视频质量下降，从而影响视频的视觉效果，妨碍视频的进一步处理。因此，为了获取高质量数字图像，必须对图像和视频进行去噪处理同时尽可能得保持原始信息。
传统的图像视频去噪方法会在滤除噪声颗粒时引入人工噪声或大大模糊图像，因此存在很大的局限性；而另有一些方法具有更好的去噪效果，但是一些图像边缘信息却在去噪时丢失，或者由于计算量太复杂，导致算法效率低下。经典的图像质量增强方法已经十分成熟，但是面对日益增加的需求，其性能无法满足如今面临各种更加复杂的问题；新型的高效图像质量增强方法得到了充分的关注。卷积神经网络是近段时间比较流行的方法；神经网络通过卷积层来提取信息，通过损失函数来测量输出特征和标签之间的差异，反向传播之后更新网络参数，通过不断迭代以达到最佳网络参数，神经网络不需要人工手调参数即可学习到理想最优参数以达到最好性能；同时，由于视频的信息冗余性，充分利用好当前噪声帧的前后帧可以有效提升当前噪声帧的去噪效果；因此，本发明提供一种基于先验信息和卷积神经网络的视频去噪方法。
发明内容
本发明的目的在于针对上述现有视频去噪方法的不足，提供一种基于先验信息和卷积神经网络的视频去噪方法；该方法充分利用前后帧信息，结合卷积神经网络实现视频去噪，大幅提升去噪性能，并在运行速度、计算量和内存使用上有一定优势。
为实现上述目的，本发明采用的技术方案为：
一种基于先验信息和卷积神经网络的视频去噪方法，包括以下步骤：
步骤S1、构建训练集；
S11、将无噪声视频进行抽帧得到无噪声视频片段，并对无噪声视频片段中每个视频帧依次进行滤波、降采样、颜色空间转换、归一化的数据预处理；并且，对预处理后视频帧加入高斯噪声形成噪声帧，得到与无噪声视频片段对应的噪声视频片段；
S12、对噪声视频片段进行拼接，将噪声视频片段的噪声帧进行分组，每组包括：前一噪声帧
Figure 100002_DEST_PATH_IMAGE001
、当前噪声帧
Figure 109016DEST_PATH_IMAGE002
以及后一噪声帧
Figure 100002_DEST_PATH_IMAGE003
，并按照该顺序依次连接构成噪声图像块
Figure 58386DEST_PATH_IMAGE004
，
Figure 100002_DEST_PATH_IMAGE005
、T表示噪声帧的总帧数；
S13、采用DnCNN对每一个噪声图像块
Figure 771127DEST_PATH_IMAGE004
中的前一噪声帧
Figure 898483DEST_PATH_IMAGE001
与后一噪声帧
Figure 798306DEST_PATH_IMAGE003
进行预去噪，对应得到预去噪后前一噪声帧
Figure 285788DEST_PATH_IMAGE006
与后一噪声帧
Figure 100002_DEST_PATH_IMAGE007
，构成预去噪后噪声图像块
Figure 853036DEST_PATH_IMAGE008
；
S14、针对每一个预去噪后噪声图像块
Figure 479189DEST_PATH_IMAGE008
，对前一噪声帧
Figure 272833DEST_PATH_IMAGE006
与当前噪声帧
Figure 642634DEST_PATH_IMAGE002
之间、后一噪声帧
Figure 798809DEST_PATH_IMAGE007
与当前噪声帧
Figure 266304DEST_PATH_IMAGE002
之间分别进行块匹配，并重构成新的前一噪声帧
Figure 100002_DEST_PATH_IMAGE009
及后一噪声帧
Figure 671878DEST_PATH_IMAGE010
，进而得到新的噪声图像块
Figure 100002_DEST_PATH_IMAGE011
；
S15、将噪声图像块
Figure 986316DEST_PATH_IMAGE011
及其对应的无噪声视频帧
Figure 996997DEST_PATH_IMAGE012
组成训练数据对
Figure 100002_DEST_PATH_IMAGE013
，按M×N大小截取子图像块，形成若干子图像块对
Figure 886325DEST_PATH_IMAGE014
，
Figure 100002_DEST_PATH_IMAGE015
、K表示单个训练数据对截取得子图像块总数；将所有视频片段形成的子图像块对随机打乱顺序，构成训练集；
S2、构建及训练去噪神经网络；
S21、构建去噪神经网络结构，由两个部分连接构成：
第一部分为依次连接的4层1×1卷积核，每个卷积核后均连接ReLU激活函数；
第二部分为依次连接的15层3×3 Octave卷积核，其中，第1到14层3×3卷积核后均连接批标准化及ReLU激活函数；
S22、设置MSE函数为去噪神经网络训练中的损失函数：
Figure 513615DEST_PATH_IMAGE016
其中，
Figure 100002_DEST_PATH_IMAGE017
表示去噪网络输出图像，
Figure 225219DEST_PATH_IMAGE018
表示去噪网络输出图像的第m行、第n列的像素点值；
Figure 100002_DEST_PATH_IMAGE019
表示子图像块
Figure 28090DEST_PATH_IMAGE020
中的当前帧，
Figure 100002_DEST_PATH_IMAGE021
表示
Figure 88319DEST_PATH_IMAGE019
的第m行、第n列的像素点值；
Figure 406168DEST_PATH_IMAGE022
表示子图像块
Figure 100002_DEST_PATH_IMAGE023
的第m行、第n列的像素点值；M表示子图像块的高度、N表示子图像块的宽度；
S23、使用Adam优化器训练得到训练好的去噪神经网络；
S3、采用训练好的去噪神经网络对噪声视频进行去噪；具体包括：
S31、将待处理噪声视频的每一帧提取出来，并对每一个视频帧进行归一化处理；
S32、并对经过步骤S31的所有视频帧进行分组，每组包括：前一视频帧、当前视频帧以及后一视频帧，并按照该顺序依次连接构成待处理图像块；其中，当第一个视频帧作为当前视频帧时、采用第三个视频帧作为其前一视频帧，当最后一个视频帧作为当前帧时、采用倒数第三个视频帧作为其后一视频帧，其余视频帧均按照顺序依次构成待处理图像块；
S33、以步骤S32构成的待处理图像块为输入，采用去噪神经网络进行去噪得到去噪后的当前视频帧，完成噪声视频去噪。
进一步的，所述步骤S11的具体过程为：
S111、将无噪声视频按照等间隔时间抽取视频片段、作为无噪声视频片段，每个视频片段包含连续的T帧视频帧
Figure 452621DEST_PATH_IMAGE024
；
S112、对每个视频帧使用抗锯齿滤波器进行滤波处理；
S113、对每个视频帧进行降采样，降采样后的分辨率为原来的一半；
S114、对每个视频帧进行颜色空间转换，当进行彩色视频去噪时，将视频帧的RGB通道同时训练；当进行灰度视频去噪时，将视频帧转换成YCbCr格式，将得到的YCbCr图像进行通道分离，得到Y通道进行训练；
S115、对每个视频帧进行归一化；
S116、在经过步骤S112~S115处理的无噪声视频片段的每一视频帧加入高斯噪声形成噪声视频片段。
基于上述技术方案，本发明的有益效果在于：
本发明提供一种基于先验信息和卷积神经网络的视频去噪方法，本发明基于卷积神经网络对噪声视频进行去噪，充分利用了前后帧信息；与传统方法相比，在网络训练之后，不需要人工手动调整参数，去噪效果好，能很好得保持视频中纹理细节，使用方便，运行速度快，鲁棒性高。
附图说明
图1为本发明中去噪神经网络结构。
图2为本发明中块匹配示意图。
具体实施方式
下面结合附图和实施例，对本发明具体实施方式作进一步详细描述。
本实施例提供一种基于先验信息和卷积神经网络的视频去噪方法，具体包括以下步骤：
步骤S1、构建训练集
S11、将无噪声视频进行抽帧得到无噪声视频片段，并对无噪声视频片段中每个视频帧依次进行滤波、降采样、颜色空间转换、归一化的数据预处理；并且，对预处理后视频帧加入高斯噪声形成噪声帧，得到与无噪声视频片段对应的噪声视频片段；具体包括：
S111、将无噪声视频每隔2s抽取一次视频片段、作为无噪声视频片段，每个视频片段包含连续的T帧视频帧
Figure 437895DEST_PATH_IMAGE024
（本实施例中，T=16）；
S112、对每个视频帧使用抗锯齿滤波器进行滤波处理；
S113、对每个视频帧进行降采样，降采样后的分辨率为原来的一半；
S114、对每个视频帧进行颜色空间转换，当进行彩色视频去噪时，不需要转换，将视频的RGB通道同时训练；当进行灰度视频去噪时，将RGB图像块利用OpenCV将其转换成YCbCr格式，将得到的YCbCr图像块进行通道分离，得到Y通道进行训练；
S115、对每个视频帧进行归一化，由于视频帧的像素值是在[0,255]范围内，将每个像素值除以255，使得每个像素值介于[0,1]之间，得到归一化的视频帧；
S116、在经过步骤S112~S115处理的无噪声视频片段的每一视频帧加入高斯噪声形成噪声视频片段；高斯噪声分为两种：一种是标准高斯噪声、即高斯水平固定，另一种是盲高斯噪声、即高斯水平在[0,50]之间随机取值形成不同水平的高斯噪声；
S12、对噪声视频片段进行拼接，将噪声视频片段的16帧视频帧进行分组，每组包括：前一噪声帧
Figure 419757DEST_PATH_IMAGE001
、当前噪声帧
Figure 224902DEST_PATH_IMAGE002
以及后一噪声帧
Figure 278309DEST_PATH_IMAGE003
，并按照该顺序依次连接构成图像块
Figure DEST_PATH_IMAGE025
，即噪声图像块；其中，第一个视频帧和最后一个视频帧作为当前帧时无法构成图像块，故本实施例中共构成14个图像块；
S13、采用DnCNN对每一个噪声图像块
Figure 649247DEST_PATH_IMAGE004
中的前一噪声帧
Figure 51278DEST_PATH_IMAGE001
与后一噪声帧
Figure 609299DEST_PATH_IMAGE003
进行预去噪，对应得到预去噪后前一噪声帧
Figure 200817DEST_PATH_IMAGE006
与后一噪声帧
Figure 567208DEST_PATH_IMAGE007
，即得到预去噪后噪声图像块
Figure 218769DEST_PATH_IMAGE008
；
S14、针对每一个预去噪后噪声图像块
Figure 795244DEST_PATH_IMAGE008
，对前一噪声帧
Figure 190453DEST_PATH_IMAGE006
与当前噪声帧
Figure 4825DEST_PATH_IMAGE002
之间、后一噪声帧
Figure 751589DEST_PATH_IMAGE007
与当前噪声帧
Figure 18622DEST_PATH_IMAGE002
之间分别进行块匹配，并重构成新的前一噪声帧
Figure 217522DEST_PATH_IMAGE009
及后一噪声帧
Figure 292926DEST_PATH_IMAGE010
，进而得到新的噪声图像块
Figure 286289DEST_PATH_IMAGE011
；
所述块匹配的具体过程如图2所示，即以当前帧为参考帧分别在前后帧中搜索最相似的宏块，提取宏块的中心像素的值重构成前后帧；
S15、将噪声图像块
Figure 837356DEST_PATH_IMAGE011
及其对应的无噪声视频帧
Figure 839947DEST_PATH_IMAGE012
组成训练数据对，按M×N大小截取子图像块，形成若干子图像块对
Figure 363333DEST_PATH_IMAGE014
；
其中，
Figure 183390DEST_PATH_IMAGE026
，K表示单个训练数据对截取得子图像块总数；
将所有视频片段形成的子图像块对随机打乱，按照比例分割成训练集以及验证集；
S2、构建及训练去噪神经网络；具体包括：
S21、构建去噪神经网络结构，如图1所示，由两个部分连接构成：
第一部分为依次连接的4层1×1卷积核，每个卷积核后均连接ReLU激活函数，激活函数公式如下所示：
Figure DEST_PATH_IMAGE027
第二部分为依次连接的15层3×3 Octave卷积核，其中，第1到14层3×3卷积核后均连接批标准化（BN, Batch Normalization）及ReLU激活函数，第15层3×3卷积核后没有激活函数和批标准化；
S22、使用MSE函数作为视频去噪网络训练中的损失函数，MSE函数如下所示：
Figure 97119DEST_PATH_IMAGE016
其中，
Figure 637822DEST_PATH_IMAGE017
表示去噪网络输出图像，
Figure 15714DEST_PATH_IMAGE018
表示去噪网络输出图像的第m行、第n列的像素点值；
Figure 147618DEST_PATH_IMAGE019
表示子图像块
Figure 610960DEST_PATH_IMAGE020
中的当前帧，
Figure 876725DEST_PATH_IMAGE021
表示
Figure 109124DEST_PATH_IMAGE019
的第m行、第n列的像素点值；
Figure 880771DEST_PATH_IMAGE022
表示子图像块
Figure 362567DEST_PATH_IMAGE023
的第m行、第n列的像素点值；M表示子图像块的高度、N表示子图像块的宽度；
S23、使用Adam优化器训练20个周期，在第12和17个周期时，去噪网络的学习率从10-3降到10-4和10-6；
S3、采用训练好的去噪神经网络对噪声视频进行去噪；具体包括：
S31、将噪声视频的每一帧提取出来，并对每一个视频帧进行步骤S115相同的归一化处理；
S32、并对经过步骤S31的所有视频帧进行分组，每组包括：前一视频帧、当前视频帧以及后一视频帧，并按照该顺序依次连接构成图像块；其中，当第一个视频帧作为当前视频帧时、采用第三个视频帧作为其前一视频帧、采用第二个视频帧作为其后一视频帧，当最后一个视频帧作为当前帧时、采用倒数第三个视频帧作为其后一视频帧、采用倒数第二个视频帧作为其前一视频帧，其余视频帧均按照顺序依次构成图像块；
S33、以步骤S32构成的图像块为输入，采用去噪神经网络进行去噪得到去噪后的当前视频帧，将所有完成去噪的视频帧拼接构成去噪后视频，即完成噪声视频去噪。
本实施例所记载的方法，充分利用了前后帧信息，对前后帧信息进行预去噪能够减少噪声的影响，也对后续的块匹配提高精度，而块匹配能够将前后帧移动的物体移动到统一位置，最后利用神经网络去噪，不需要人工手动调整参数，运行速度快，使用方便，去噪效果好，具有很高的鲁棒性。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (2)

1.一种基于先验信息和卷积神经网络的视频去噪方法，其特征在于，包括以下步骤：
步骤S1、构建训练集；
S11、将无噪声视频进行抽帧得到无噪声视频片段，并对无噪声视频片段中每个视频帧依次进行滤波、降采样、颜色空间转换、归一化的数据预处理；并且，对预处理后视频帧加入高斯噪声形成噪声帧，得到与无噪声视频片段对应的噪声视频片段；
S12、对噪声视频片段进行拼接，将噪声视频片段的噪声帧进行分组，每组包括：前一噪声帧
Figure DEST_PATH_IMAGE001
、当前噪声帧
Figure 216463DEST_PATH_IMAGE002
以及后一噪声帧
Figure DEST_PATH_IMAGE003
，并按照该顺序依次连接构成噪声图像块
Figure 911887DEST_PATH_IMAGE004
，
Figure DEST_PATH_IMAGE005
、T表示噪声帧的总帧数；
S13、采用DnCNN对每一个噪声图像块
Figure 74884DEST_PATH_IMAGE004
中的前一噪声帧
Figure 615586DEST_PATH_IMAGE001
与后一噪声帧
Figure 993478DEST_PATH_IMAGE003
进行预去噪，对应得到预去噪后前一噪声帧
Figure 266328DEST_PATH_IMAGE006
与后一噪声帧
Figure DEST_PATH_IMAGE007
，构成预去噪后噪声图像块
Figure 260828DEST_PATH_IMAGE008
；
S14、针对每一个预去噪后噪声图像块
Figure 605222DEST_PATH_IMAGE008
，对前一噪声帧
Figure 103199DEST_PATH_IMAGE006
与当前噪声帧
Figure 530639DEST_PATH_IMAGE002
之间、后一噪声帧
Figure 746856DEST_PATH_IMAGE007
与当前噪声帧
Figure 35886DEST_PATH_IMAGE002
之间分别进行块匹配，并重构成新的前一噪声帧
Figure DEST_PATH_IMAGE009
及后一噪声帧
Figure 388370DEST_PATH_IMAGE010
，进而得到新的噪声图像块
Figure DEST_PATH_IMAGE011
；
S15、将噪声图像块
Figure 862077DEST_PATH_IMAGE011
及其对应的无噪声视频帧
Figure 955804DEST_PATH_IMAGE012
组成训练数据对
Figure DEST_PATH_IMAGE013
，按M×N大小截取子图像块，形成若干子图像块对
Figure 642000DEST_PATH_IMAGE014
，
Figure DEST_PATH_IMAGE015
、K表示单个训练数据对截取得子图像块总数；将所有视频片段形成的子图像块对随机打乱顺序，构成训练集；
S2、构建及训练去噪神经网络；
S21、构建去噪神经网络结构，由两个部分连接构成：
第一部分为依次连接的4层1×1卷积核，每个卷积核后均连接ReLU激活函数；
第二部分为依次连接的15层3×3 Octave卷积核，其中，第1到14层3×3卷积核后均连接批标准化及ReLU激活函数；
S22、设置MSE函数为去噪神经网络训练中的损失函数：
Figure 521094DEST_PATH_IMAGE016
其中，
Figure DEST_PATH_IMAGE017
表示去噪网络输出图像，
Figure 165702DEST_PATH_IMAGE018
表示去噪网络输出图像的第m行、第n列的像素点值；
Figure DEST_PATH_IMAGE019
表示子图像块
Figure 15234DEST_PATH_IMAGE020
中的当前帧，
Figure DEST_PATH_IMAGE021
表示
Figure 239542DEST_PATH_IMAGE019
的第m行、第n列的像素点值；
Figure 238722DEST_PATH_IMAGE022
表示子图像块
Figure DEST_PATH_IMAGE023
的第m行、第n列的像素点值；M表示子图像块的高度、N表示子图像块的宽度；
S23、使用Adam优化器训练得到训练好的去噪神经网络；
S3、采用训练好的去噪神经网络对噪声视频进行去噪；具体包括：
S31、将待处理噪声视频的每一帧提取出来，并对每一个视频帧进行归一化处理；
S32、并对经过步骤S31的所有视频帧进行分组，每组包括：前一视频帧、当前视频帧以及后一视频帧，并按照该顺序依次连接构成待处理图像块；其中，当第一个视频帧作为当前视频帧时、采用第三个视频帧作为其前一视频帧，当最后一个视频帧作为当前帧时、采用倒数第三个视频帧作为其后一视频帧，其余视频帧均按照顺序依次构成待处理图像块；
S33、以步骤S32构成的待处理图像块为输入，采用去噪神经网络进行去噪得到去噪后的当前视频帧，完成噪声视频去噪。
2.按权利要求1所述基于先验信息和卷积神经网络的视频去噪方法，其特征在于，所述步骤S11的具体过程为：
S111、将无噪声视频按照等间隔时间抽取视频片段、作为无噪声视频片段，每个视频片段包含连续的T帧视频帧
Figure 523073DEST_PATH_IMAGE024
；
S112、对每个视频帧使用抗锯齿滤波器进行滤波处理；
S113、对每个视频帧进行降采样，降采样后的分辨率为原来的一半；
S114、对每个视频帧进行颜色空间转换，当进行彩色视频去噪时，将视频帧的RGB通道同时训练；当进行灰度视频去噪时，将视频帧转换成YCbCr格式，将得到的YCbCr图像进行通道分离，得到Y通道进行训练；
S115、对每个视频帧进行归一化；
S116、在经过步骤S112~S115处理的无噪声视频片段的每一视频帧加入高斯噪声形成噪声视频片段。
CN202011100020.8A 2020-10-15 2020-10-15 一种基于先验信息和卷积神经网络的视频去噪方法 Active CN112019704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011100020.8A CN112019704B (zh) 2020-10-15 2020-10-15 一种基于先验信息和卷积神经网络的视频去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011100020.8A CN112019704B (zh) 2020-10-15 2020-10-15 一种基于先验信息和卷积神经网络的视频去噪方法

Publications (2)

Publication Number Publication Date
CN112019704A CN112019704A (zh) 2020-12-01
CN112019704B true CN112019704B (zh) 2021-02-05

Family

ID=73527316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011100020.8A Active CN112019704B (zh) 2020-10-15 2020-10-15 一种基于先验信息和卷积神经网络的视频去噪方法

Country Status (1)

Country Link
CN (1) CN112019704B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034401B (zh) * 2021-04-08 2022-09-06 中国科学技术大学 视频去噪方法及装置、存储介质及电子设备
CN114219820B (zh) * 2021-12-08 2024-09-06 苏州工业园区智在天下科技有限公司 神经网络的生成方法、去噪方法及其装置
TWI841435B (zh) * 2023-06-30 2024-05-01 國立勤益科技大學 基於卷積神經網路的時間序列資料融合演算法及居家照護系統

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930334A (zh) * 2019-11-26 2020-03-27 浙江大学 一种基于神经网络的网格去噪方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063728A (zh) * 2018-06-20 2018-12-21 燕山大学 一种火灾图像深度学习模式识别方法
CN110610467B (zh) * 2019-09-11 2022-04-15 杭州当虹科技股份有限公司 一种基于深度学习的多帧视频去压缩噪声方法
CN110751649B (zh) * 2019-10-29 2021-11-02 腾讯科技（深圳）有限公司 视频质量评估方法、装置、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930334A (zh) * 2019-11-26 2020-03-27 浙江大学 一种基于神经网络的网格去噪方法

Also Published As

Publication number Publication date
CN112019704A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112019704B (zh) 一种基于先验信息和卷积神经网络的视频去噪方法
CN110599409B (zh) 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
CN108876735A (zh) 一种基于深度残差网络的真实图像盲去噪方法
CN109872288A (zh) 用于图像去噪的网络训练方法、装置、终端及存储介质
CN108830812B (zh) 一种基于网格结构深度学习的视频高帧率重制方法
CN112270654A (zh) 基于多通道gan的图像去噪方法
CN111553856B (zh) 基于深度估计辅助的图像去雾方法
CN114862698B (zh) 一种基于通道引导的真实过曝光图像校正方法与装置
CN112419163B (zh) 一种基于先验知识和深度学习的单张图像弱监督去雾方法
CN114219722A (zh) 一种利用时频域层级处理的低光照图像增强方法
CN111145102A (zh) 一种基于卷积神经网络的合成孔径雷达图像去噪方法
CN113628152A (zh) 一种基于多尺度特征选择性融合的暗光图像增强方法
CN113191995A (zh) 一种基于深度学习的视频图像自动曝光校正方法
CN116797468A (zh) 基于软边重建的自校准深度曲线估计的低光照图像增强方法
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
CN113724139B (zh) 基于二重判别器生成对抗网络的无监督红外单图超分方法
CN110728643A (zh) 一种基于卷积神经网络的低照度带噪声图像优化方法
CN117994167B (zh) 融合并行多卷积注意力的扩散模型去雾方法
CN116468625A (zh) 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统
CN116579940A (zh) 一种基于卷积神经网络的实时低照度图像增强方法
CN117372301A (zh) 基于多模耦合技术的游戏图像处理方法
CN112070686A (zh) 一种基于深度学习的逆光图像协同增强方法
CN111489302A (zh) 一种雾气环境下海事图像增强方法
CN116645281A (zh) 一种基于多阶段拉普拉斯特征融合的微光图像增强方法
CN117237202A (zh) 基于自适应多特征融合的双重图像退化修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant