CN108447029A - 一种视频序列的去噪方法、装置、服务器和存储介质 - Google Patents

一种视频序列的去噪方法、装置、服务器和存储介质 Download PDF

Info

Publication number
CN108447029A
CN108447029A CN201810147098.1A CN201810147098A CN108447029A CN 108447029 A CN108447029 A CN 108447029A CN 201810147098 A CN201810147098 A CN 201810147098A CN 108447029 A CN108447029 A CN 108447029A
Authority
CN
China
Prior art keywords
video sequence
sparse
image
denoising
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810147098.1A
Other languages
English (en)
Inventor
肖志林
黄哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth RGB Electronics Co Ltd
Original Assignee
Shenzhen Skyworth RGB Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Skyworth RGB Electronics Co Ltd filed Critical Shenzhen Skyworth RGB Electronics Co Ltd
Priority to CN201810147098.1A priority Critical patent/CN108447029A/zh
Publication of CN108447029A publication Critical patent/CN108447029A/zh
Priority to PCT/CN2018/102742 priority patent/WO2019153721A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频序列的去噪方法、装置、服务器和存储介质，该方法包括：分别提取待去噪视频序列中各图像的特征，并构建视频序列特征矩阵；对所述视频序列特征矩阵进行稀疏约束，获得满足稀疏约束条件的稀疏特征；依据所述稀疏特征，将所述待去噪视频序列中各图像拆分为背景图像和运动目标图像进行去噪处理。本发明通过优化后的稀疏特征准确分离待去噪视频序列中各图像的背景图像与运动目标，根据待去噪视频序列的动态特征对视频进行去噪处理，提高视频序列的去噪效果且不损失运动目标的细节特征，降低运算复杂度以及算法运行时间。通过在较短的时间内实现对视频序列中噪声的消除，使用户获得画质更加清晰且运动细节特征明显的视频序列。

Description

一种视频序列的去噪方法、装置、服务器和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种视频序列的去噪方法、装置、服务器和存储介质。
背景技术
现实中的数字图像在数字化和传输过程中常受到成像设备以及外部环境噪声干扰等影响，均以含噪图像或噪声图像的形式存在。图像去噪的目的是从含噪图像或噪声图像中抑制或消除各种干扰噪声，以为揭示隐藏于图像中的未知信息提供有力保障。
目前，现有的图像去噪方法很多。传统的稀疏分解去噪方法的基本思想是：利用过完备的冗余函数字典即过完备原子库来取代传统的正交基函数作为基函数，字典的选择尽可能地符合被逼近图像的结构，字典中的元素称为原子；并根据待分解图像的特点，利用贪婪算法或者自适应追踪算法，从过完备字典中找到具有最佳线性组合的数项原子来表示一个图像。
然而，传统的稀疏分解去噪方法需要构建低秩矩阵，不利于图像特征的表达；且主要适用于单帧图像画面，不便于结合运动目标的细节对动态视频序列进行统一去噪。当采用冗余的超完备字典时，根据信号的长度进行离散时需要大量的资源和时间进行字典的生成，且生成的字典原子数量巨大，导致计算复杂以及算法运行时间长等问题，对硬件实现及算法时间提出了较高要求。
发明内容
本发明实施例提供了一种视频序列的去噪方法、装置、服务器和存储介质，通过优化图像特征准确分离背景图像与运动目标，提高视频序列的去噪效果且不损失运动目标的细节特征，降低运算复杂度。
第一方面，本发明实施例提供了一种视频序列的去噪方法，包括：
分别提取待去噪视频序列中各图像的特征，并构建视频序列特征矩阵；
对所述视频序列特征矩阵进行稀疏约束，获得满足稀疏约束条件的稀疏特征；
依据所述稀疏特征，将所述待去噪视频序列中各图像拆分为背景图像和运动目标图像进行去噪处理。
第二方面，本发明实施例提供了一种视频序列的去噪装置，包括：
特征提取模块，用于分别提取待去噪视频序列中各图像的特征，并构建视频序列特征矩阵；
特征稀疏约束模块，用于对所述视频序列特征矩阵进行稀疏约束，获得满足稀疏约束条件的稀疏特征；
视频序列去噪模块，用于依据所述稀疏特征，将所述待去噪视频序列中各图像拆分为背景图像和运动目标图像进行去噪处理。
第三方面，本发明实施例提供了一种服务器，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的视频序列的去噪方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的视频序列的去噪方法。
本发明在对待去噪视频序列中各图像的特征进行提取后，将待去噪视频序列中各图像的特征构建为视频序列特征矩阵；并进行稀疏约束得到满足稀疏约束条件的稀疏特征；依据稀疏特征准确地进行背景与运动目标的拆分，从而分别对背景与运动目标进行去噪处理。本发明通过优化后的稀疏特征准确分离待去噪视频序列中各图像的背景图像与运动目标，根据待去噪视频序列的动态特征对视频进行去噪处理，提高视频序列的去噪效果且不损失运动目标的细节特征，降低运算复杂度以及算法运行时间。通过在较短的时间内实现对视频序列中噪声的消除，使用户获得画质更加清晰且运动细节特征明显的视频序列。
附图说明
图1为本发明实施例一提供的一种视频序列的去噪方法的流程图；
图2为本发明实施例二提供的稀疏滤波器训练的流程图；
图3为本发明实施例三提供的一种视频序列的去噪方法的流程图；
图4为本发明实施例四提供的一种视频序列的去噪装置的结构示意图；
图5为本发明实施例五提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种视频序列的去噪方法的流程图，本实施例可适用于视频序列去噪的情况，该方法可由视频序列的去噪装置来执行。该方法具体包括如下步骤：
步骤110、分别提取待去噪视频序列中各图像的特征，并构建视频序列特征矩阵。
在本发明具体实施例中，待去噪视频序列为连续的多帧视频序列，其中可以包含静态的背景图像，也可以包含运动的目标图像。分别提取待去噪视频序列中各图像的特征，图像的特征可以包括但不局限于图像像素点的像素值、图像的轮廓特征以及图像的纹理特征等图像特征，本实施例不对图像特征进行限定。在获取待去噪视频序列中各图像的特征后，将所有图像的特征进行组合，构建为一个完整的视频序列特征矩阵。视频序列特征矩阵的构建公式为：其中，X为根据各图像特征构建的视频序列特征矩阵；h为图像的高，w为图像的宽，R为大小为h×w的矩阵；xi为待去噪视频序列中各图像的特征向量，其矩阵大小不超过Rh×w。
步骤120、对视频序列特征矩阵进行稀疏约束，获得满足稀疏约束条件的稀疏特征。
在本发明的具体实施例中，稀疏约束就是将图像特征输入特定的代价函数中，通过求解满足代价函数的解，即可将特征约束在代价函数限定的稀疏约束条件内。示例性的，对某一特征进行二范数约束，就是将特征约束在了一个半径为|2-ball|的球里面。经过稀疏约束后的特征能够得到很好的优化，特征间的区分性更好，且增加特征含有的信息量，减少特征矩阵的冗余度。
优选的，将视频序列特征矩阵输入训练好的稀疏滤波器进行稀疏滤波处理，获得满足稀疏约束条件的稀疏特征。在本实施例中，可以利用稀疏滤波器对特征进行稀疏滤波处理，从而获得满足稀疏约束条件的稀疏特征。其中可以通过采用大量的样本视频序列来训练稀疏滤波器，使其通过训练学习的方式得到参数稳定的稀疏滤波器。或者，调节预设目标权重，并依据预设目标权重和视频序列特征矩阵获得满足稀疏约束条件的稀疏特征。根据人为经验设定特定的目标权重，使得与目标权重乘积后的视频序列特征矩阵中的各个特征满足稀疏约束条件，获得视频序列的稀疏特征。
步骤130、依据稀疏特征，将待去噪视频序列中各图像拆分为背景图像和运动目标图像进行去噪处理。
在本发明具体实施例中，由于稀疏特征为优化后的视频序列特征，因此特征间的区分度更高。在稀疏特征的基础上，对视频序列中各图像的背景图像和运动目标进行拆分，从而结合视频中的运动特征，以不同的去噪水平分别对背景图像和运动目标进行去噪处理。因此，在视频序列去噪的同时，很好的保障了视频中的运动细节，而不会将真实的运动目标视为噪声而一同去除。具体的，可以对稀疏特征进行小波变换，进一步地提高图像特征的区分度；根据小波变换后的特征，提取待去噪视频序列的边缘特征；并以边缘特征为依据，将待去噪视频序列拆分为背景图像和运动目标图像；根据图像中的动态特征，分别对背景图像和运动目标图像进行时域去噪处理；并将时域去噪后的背景图像和运动目标图像融合为完整的图像序列；对融合后的图像序列再次进行空域去噪，获得去除噪声后的图像序列。
本实施例的技术方案，在对待去噪视频序列中各图像的特征进行提取后，将待去噪视频序列中各图像的特征构建为图像序列特征矩阵；并进行稀疏约束得到满足稀疏约束条件的稀疏特征；依据稀疏特征准确地进行背景与运动目标的拆分，从而分别对背景与运动目标进行去噪处理。本发明通过优化后的稀疏特征准确分离待去噪视频序列中各图像的背景图像与运动目标，根据待去噪视频序列的动态特征对视频进行去噪处理，提高视频序列的去噪效果且不损失运动目标的细节特征，降低运算复杂度以及算法运行时间。通过在较短的时间内实现对视频序列中噪声的消除，使用户获得画质更加清晰且运动细节特征明显的视频序列。
实施例二
本实施例在上述实施例一的基础上，提供了一种训练稀疏滤波器的一个优选实施方式，能够根据大量视频样本训练稀疏滤波器。图2为本发明实施例二提供的稀疏滤波器训练的流程图，如图2所示，该方法包括以下具体步骤：
步骤210、提取样本视频序列中各图像的特征，并构建样本视频序列特征矩阵。
在本发明具体实施例中，获取大量样本视频序列，同样对样本视频序列中各图像进行图像特征提取，将所有图像的特征进行组合，构建为一个完整的视频序列特征矩阵。其中，视频序列特征矩阵的构建公式如上一实施例所述：其中，X为根据各图像特征构建的样本视频序列特征矩阵；h为图像的高，w为图像的宽，R为大小为h×w的矩阵；xi为样本视频序列中各图像的特征向量，其矩阵大小不超过Rh×w。
步骤220、依据预设目标权重和样本视频序列特征矩阵，获得样本特征向量矩阵。
在本发明具体实施例中，预先初始化目标权重，将目标权重与样本视频序列特征矩阵相乘，获得样本特征向量矩阵。通过训练目标权重，以此来获得满足稀疏约束条件的稀疏特征。在本实施例中，假设目标权重为W，则样本特征向量矩阵为F＝WT·X。
步骤230、依据预设激活函数对样本特征向量矩阵进行激活。
在本发明具体实施例中，采用软绝对值函数作为激活函数，其中，z表示函数自变量，ε为超参数，即取值为很小的正常数，例如ε＝10-8。
步骤240、对激活后的样本特征向量矩阵进行稀疏约束，获得稀疏滤波器。
具体的，将样本视频序列特征矩阵与目标权重相乘，得样本特征向量矩阵中的各个特征元素为其中，为样本特征向量矩阵F中的第i列第j行的特征元素，即表示样本视频序列中第i个样本图像的第j个特征，wj表示第j个特征的权重，x(i)表示样本视频序列中第i个样本图像的特征向量。对样本特征向量矩阵进行激活，得到新的特征
优选的，首先分别将激活后的样本特征向量矩阵中的各个特征除以样本视频序列下所有样本图像中该类特征的二范数，其计算公式为：将每个特征归一化为相等的激活值，其中，表示第i个样本图像的第j个特征归一化后的激活值，||fj||2表示样本视频序列下所有样本图像中第j个特征的二范数。其次，对样本视频序列中的各图像的各个特征元素进行归一化处理，其计算公式为：至此将每个特征落在二范数的单位球体上面。并对归一化后的特征进行优化，在本实施例中采用L1范数惩罚作为代价函数来约束特征的稀疏性，则对于一个含有n个图像的样本视频序列，对其特征的稀疏性约束的计算公式为：即获得稀疏滤波目标函数。
最后，求解使得稀疏滤波目标函数满足稀疏约束条件的稀疏滤波器参数；依据稀疏滤波器参数，获得训练好的稀疏滤波器。其中，稀疏滤波目标函数度量的就是第i个样本图像的特征的稀疏度，即限制每个样本图像的特征只有很少的非零值。因此，第i个样本图像的归一化后的特征被约束在只能落在二范数的单位球体上面，进而也只有在特征是稀疏的时候，即样本图像接近特征坐标轴的时候，也就是说每个样本图像的特征只有很少的非零值时，目标函数才会取值最小。反之，如果一个样本图像中的每个特征值都差不多，则目标函数会得到一个很高的惩罚。此外，归一化后的特征间隐含特征间的竞争性，即归一化会使得样本图中如果只有一个特征元素增大，那么其他所有的特征元素的值将会减小。相似的，如果只有一个特征元素减小，那么其他所有的特征元素的值将会增大。因此，最小化将会驱使归一化的特征趋于稀疏以及大部分特征元素接近于0，即样本图像中一定数量的特征值会比较大，而其他的特征值都很小，甚至接近于0。进而目标函数达到了优化特征为稀疏特征的目的。
本实施例的技术方案，通过提取样本视频序列中各图像的特征，构建样本视频序列特征矩阵；将预设目标权重与样本视频序列特征矩阵相乘获得样本特征向量矩阵；依据预设激活函数对样本特征向量矩阵进行激活；分别将激活后的样本特征向量矩阵中的各个特征利用L1范数惩罚作为代价函数进行特征稀疏性的约束，从而训练得到满足稀疏约束条件的目标权重构建稀疏滤波器。本实施例通过采用大量样本视频序列对稀疏滤波器进行训练，使得视频序列中各个图像的特征为稀疏特征，增加了视频序列中各图像特征的区分度，有利于背景与运动目标的精确分解，并根据待去噪视频序列的动态特征对视频进行去噪处理，提高视频序列的去噪效果且不损失运动目标的细节特征，降低运算复杂度以及算法运行时间。
实施例三
本实施例在上述实施例一的基础上，提供了一种视频序列的去噪方法的一个优选实施方式，能够结合运动目标的动态特征对背景图像和运动目标拆分后的图像进行精确地图像去噪处理。图3为本发明实施例三提供的一种视频序列的去噪方法的流程图，如图3所示，该方法包括以下具体步骤：
步骤310、分别提取待去噪视频序列中各图像的特征，并构建视频序列特征矩阵。
在本发明具体实施例中，在获得待去噪视频序列后，分别提取待去噪视频序列中各图像的特征，并将所有图像的特征进行组合，构建为一个完整的视频序列特征矩阵。
步骤320、将视频序列特征矩阵输入训练好的稀疏滤波器进行稀疏滤波处理，获得满足稀疏约束条件的稀疏特征。
在本发明的具体实施例中，可以采用本发明实施例二中对稀疏滤波器的训练方法，获得训练好的稀疏滤波器。并将完整的视频序列特征矩阵输入稀疏滤波器对视频序列特征矩阵进行稀疏滤波处理，以此获得待去噪视频序列的满足稀疏约束条件的稀疏特征。
步骤330、对所述稀疏特征进行小波变换。
在本发明的具体实施例中，可以采用能够提供随频率而改变“时间-频率”窗口的小波变换对稀疏特征进行处理。由于小波变换通过伸缩平移运算对图像特征逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而能够对时间频率的局部化分析，可聚焦到信号的任意细节，充分突出图像的特征。
步骤340、依据小波变换后的稀疏特征，提取待去噪视频序列中各图像的边缘特征。
在本发明的具体实施例中，图像的边缘是指图像局部灰度显著变化的区域，是图像的最基本特征。由于图像边缘具有不变性，不会被光线的变换或其他外界因素所影响，而且人的视觉系统对图像的边缘也是最为敏感的，因此对图像边缘特征的提取有利于识别图像中的重要信息。边缘特征的提取依赖于边缘检测算子检测出图像在灰度、纹理等区域不连续的地方，以确定边缘的有无、真假和实现定向定位。
步骤350、依据各图像的边缘特征，将待去噪视频序列中各图像拆分为背景图像和运动目标图像。
在本发明的具体实施例中，依据待去噪视频序列中各图像的边缘特征，对各图像进行拆分。并结合待去噪视频序列中相邻视频帧中运动目标的位移变化，将发生动态变化的图像部分确定为运动目标，而将静态的图像部分确定为背景图像。
步骤360、分别对背景图像和运动目标图像进行时域去噪处理。
在本发明的具体实施例中，时域就是时间域，视频可以看作是时间轴上排列着很多帧的图像画面，且各视频图像帧间具有较强的相关性。而时域去噪就是对前后帧图像进行分析，利用图像帧之间的相关性对图像进行去噪。具体的，由于噪声通常都是随机产生和随机出现的，即使在相邻帧间噪声也不具备相关性或者相关性非常低，不同图像帧间对应的像素点具有信号相关而噪声非相关的特征。因此，根据待去噪视频序列中前后图像帧中运动目标图像的相关性，将运动目标区分为噪声和真实运动目标，即相关性较大的运动目标确定为真实运动目标，而相关性较低的运动目标确定为噪声，从而对识别为噪声的运动目标进行去噪处理，而对于真实运动目标进行保留或采用较低水平的去噪处理，进而在图像去噪的同时保障了图像中的运动细节特征。
步骤370、分别将时域去噪后的背景图像和运动目标图像融合为完整的视频图像。
在本发明的具体实施例中，图像融合是指将去噪后的背景图像和运动目标图像经过图像处理和计算机技术等，最大限度的提取各图像中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率，并提升原始图像的空间分辨率和光谱分辨率。
步骤380、对融合后的视频图像进行空域去噪，获得去除噪声后的视频序列。
在本发明的具体实施例中，空域即空间域，单帧视频图像可以看作是空间上很多像素点拼接而成的图像画面，且相邻的局部像素点间具有较强的相关性。而空域去噪就是对单帧视频图像相邻像素点进行分析，利用相邻像素点间的相关性对图像进行去噪。常用的空域去噪方法有中值滤波和均值滤波等方法，通过平滑过滤掉局部像素块中的噪声，达到去除静态单帧图像中噪声的目的
本实施例的技术方案，对待去噪视频序列的稀疏特征进行小波变换，图像特征得到了进一步的优化；以此提取待去噪视频序列的边缘特征，将待去噪视频序列拆分为背景图像和运动目标图像，根据待去噪视频序列的动态特征分别对背景图像和运动目标图像进行时域去噪；最后将背景图像和运动目标图像进行融合，对融合后的完整图像进行空域去噪，获得去除噪声后的视频序列。本发明通过优化后的稀疏特征准确分离待去噪视频序列中各图像的背景图像与运动目标，根据待去噪视频序列的动态特征对视频进行去噪处理，提高视频序列的去噪效果且不损失运动目标的细节特征，降低运算复杂度以及算法运行时间。通过在较短的时间内实现对视频序列中噪声的消除，使用户获得画质更加清晰且运动细节特征明显的视频序列。
实施例四
图4为本发明实施例四提供的一种视频序列的去噪装置的结构示意图，本实施例可适用于视频序列去噪的情况，该装置可实现本发明任意实施例所述的视频序列的去噪方法。该装置具体包括：
特征提取模块410，用于分别提取待去噪视频序列中各图像的特征，并构建视频序列特征矩阵；
特征稀疏约束模块420，用于对所述视频序列特征矩阵进行稀疏约束，获得满足稀疏约束条件的稀疏特征；
视频序列去噪模块430，用于依据所述稀疏特征，将所述待去噪视频序列中各图像拆分为背景图像和运动目标图像进行去噪处理。
优选的，所述特征稀疏约束模块420具体用于：
将所述视频序列特征矩阵输入训练好的稀疏滤波器进行稀疏滤波处理，获得满足稀疏约束条件的稀疏特征；或者，
调节预设目标权重，并依据所述预设目标权重和所述视频序列特征矩阵获得满足稀疏约束条件的稀疏特征。
进一步的，所述装置还包括：稀疏滤波器训练模块440，用于根据样本视频序列训练稀疏滤波器。
优选的，所述稀疏滤波器训练模块440，包括：
样本特征提取单元，用于提取样本视频序列中各图像的特征，并构建样本视频序列特征矩阵；
特征向量获取模块，用于依据所述预设目标权重和所述样本视频序列特征矩阵，获得样本特征向量矩阵；
特征激活单元，用于依据预设激活函数对所述样本特征向量矩阵进行激活；
特征约束单元，用于对激活后的样本特征向量矩阵进行稀疏约束，获得稀疏滤波器。
优选的，所述特征约束单元具体用于：
分别将激活后的样本特征向量矩阵中的各个特征除以所述样本视频序列下所有样本图像中该类特征的二范数；
对样本视频序列中的各图像的各个特征元素进行归一化处理，获得稀疏滤波目标函数；
求解使得所述稀疏滤波目标函数满足所述稀疏约束条件的稀疏滤波器参数；
依据所述稀疏滤波器参数，获得训练好的稀疏滤波器。
进一步的，所述视频序列去噪模块430，包括：
特征变换单元，用于对所述稀疏特征进行小波变换；
边缘特征提取单元，用于依据小波变换后的稀疏特征，提取所述待去噪视频序列中各图像的边缘特征；
拆分单元，用于依据所述各图像的边缘特征，将所述待去噪视频序列中各图像拆分为背景图像和运动目标图像；
时域去噪单元，用于分别对所述背景图像和所述运动目标图像进行时域去噪处理。
进一步的，所述视频序列去噪模块430，还包括：
图像融合单元，用于在所述分别对所述背景图像和所述运动目标图像进行时域去噪处理之后，分别将时域去噪后的背景图像和运动目标图像融合为完整的视频图像；
空域去噪单元，用于对所述融合后的视频图像进行空域去噪，获得去除噪声后的视频序列。
本实施例的技术方案，通过各个功能模块间的相互配合，实现了稀疏滤波器的训练、视频序列特征的提取、特征的稀疏约束优化、背景与运动目标的拆分、视频序列的时域去噪以及视频图像的空域去噪等功能。本发明通过优化后的稀疏特征准确分离待去噪视频序列中各图像的背景图像与运动目标，根据待去噪视频序列的动态特征对视频进行去噪处理，提高视频序列的去噪效果且不损失运动目标的细节特征，降低运算复杂度以及算法运行时间。通过在较短的时间内实现对视频序列中噪声的消除，使用户获得画质更加清晰且运动细节特征明显的视频序列。
实施例五
图5为本发明实施例五提供的一种服务器的结构示意图。如图5所示，该服务器具体包括：一个或多个处理器510，图5中以一个处理器510为例；存储器520，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器510执行，使得一个或多个处理器510实现本发明任意实施例所述的视频序列的去噪方法。处理器510与存储器520可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器520，作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的视频序列的去噪方法对应的程序指令(例如，视频序列特征的提取与优化以及视频序列的时域去噪和空域去噪)。处理器510通过运行存储在存储器520中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述的视频序列的去噪方法。
存储器520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器520可进一步包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例六
本发明实施例六还提供一种计算机可读存储介质，其上存储有计算机程序(或称为计算机可执行指令)，该程序被处理器执行时用于执行一种视频序列的去噪方法，该方法包括：
分别提取待去噪视频序列中各图像的特征，并构建视频序列特征矩阵；
对所述视频序列特征矩阵进行稀疏约束，获得满足稀疏约束条件的稀疏特征；
依据所述稀疏特征，将所述待去噪视频序列中各图像拆分为背景图像和运动目标图像进行去噪处理。
当然，本发明实施例所提供的一种计算机可读存储介质,其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的视频序列的去噪方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种视频序列的去噪方法，其特征在于，包括：
分别提取待去噪视频序列中各图像的特征，并构建视频序列特征矩阵；
对所述视频序列特征矩阵进行稀疏约束，获得满足稀疏约束条件的稀疏特征；
依据所述稀疏特征，将所述待去噪视频序列中各图像拆分为背景图像和运动目标图像进行去噪处理。
2.根据权利要求1所述的方法，其特征在于，所述对所述视频序列特征矩阵进行稀疏约束，获得满足稀疏约束条件的稀疏特征，包括：
将所述视频序列特征矩阵输入训练好的稀疏滤波器进行稀疏滤波处理，获得满足稀疏约束条件的稀疏特征；或者，
调节预设目标权重，并依据所述预设目标权重和所述视频序列特征矩阵获得满足稀疏约束条件的稀疏特征。
3.根据权利要求2所述的方法，其特征在于，训练稀疏滤波器，包括：
提取样本视频序列中各图像的特征，并构建样本视频序列特征矩阵；
依据所述预设目标权重和所述样本视频序列特征矩阵，获得样本特征向量矩阵；
依据预设激活函数对所述样本特征向量矩阵进行激活；
对激活后的样本特征向量矩阵进行稀疏约束，获得稀疏滤波器。
4.根据权利要求3所述的方法，其特征在于，所述对激活后的样本特征向量矩阵进行稀疏约束，获得稀疏滤波器，包括：
分别将激活后的样本特征向量矩阵中的各个特征除以所述样本视频序列下所有样本图像中该类特征的二范数；
对样本视频序列中的各图像的各个特征元素进行归一化处理，获得稀疏滤波目标函数；
求解使得所述稀疏滤波目标函数满足所述稀疏约束条件的稀疏滤波器参数；
依据所述稀疏滤波器参数，获得训练好的稀疏滤波器。
5.根据权利要求1所述的方法，其特征在于，所述依据所述稀疏特征，将所述待去噪视频序列中各图像拆分为背景图像和运动目标图像进行去噪处理，包括：
对所述稀疏特征进行小波变换；
依据小波变换后的稀疏特征，提取所述待去噪视频序列中各图像的边缘特征；
依据所述各图像的边缘特征，将所述待去噪视频序列中各图像拆分为背景图像和运动目标图像；
分别对所述背景图像和所述运动目标图像进行时域去噪处理。
6.根据权利要求5所述的方法，其特征在于，在所述分别对所述背景图像和所述运动目标图像进行时域去噪处理之后，包括：
分别将时域去噪后的背景图像和运动目标图像融合为完整的视频图像；
对所述融合后的视频图像进行空域去噪，获得去除噪声后的视频序列。
7.一种视频序列的去噪装置，其特征在于，包括：
特征提取模块，用于分别提取待去噪视频序列中各图像的特征，并构建视频序列特征矩阵；
特征稀疏约束模块，用于对所述视频序列特征矩阵进行稀疏约束，获得满足稀疏约束条件的稀疏特征；
视频序列去噪模块，用于依据所述稀疏特征，将所述待去噪视频序列中各图像拆分为背景图像和运动目标图像进行去噪处理。
8.根据权利要求7所述的装置，其特征在于，所述特征稀疏约束模块具体用于：
将所述视频序列特征矩阵输入训练好的稀疏滤波器进行稀疏滤波处理，获得满足稀疏约束条件的稀疏特征；或者，
调节预设目标权重，并依据所述预设目标权重和所述视频序列特征矩阵获得满足稀疏约束条件的稀疏特征。
9.根据权利要求8所述的装置，其特征在于，所述装置包括：稀疏滤波器训练模块；所述稀疏滤波器训练模块，包括：
样本特征提取单元，用于提取样本视频序列中各图像的特征，并构建样本视频序列特征矩阵；
特征向量获取模块，用于依据所述预设目标权重和所述样本视频序列特征矩阵，获得样本特征向量矩阵；
特征激活单元，用于依据预设激活函数对所述样本特征向量矩阵进行激活；
特征约束单元，用于对激活后的样本特征向量矩阵进行稀疏约束，获得稀疏滤波器。
10.根据权利要求9所述的装置，其特征在于，所述特征约束单元具体用于：
分别将激活后的样本特征向量矩阵中的各个特征除以所述样本视频序列下所有样本图像中该类特征的二范数；
对样本视频序列中的各图像的各个特征元素进行归一化处理，获得稀疏滤波目标函数；
求解使得所述稀疏滤波目标函数满足所述稀疏约束条件的稀疏滤波器参数；
依据所述稀疏滤波器参数，获得训练好的稀疏滤波器。
11.根据权利要求7所述的装置，其特征在于，所述视频序列去噪模块，包括：
特征变换单元，用于对所述稀疏特征进行小波变换；
边缘特征提取单元，用于依据小波变换后的稀疏特征，提取所述待去噪视频序列中各图像的边缘特征；
拆分单元，用于依据所述各图像的边缘特征，将所述待去噪视频序列中各图像拆分为背景图像和运动目标图像；
时域去噪单元，用于分别对所述背景图像和所述运动目标图像进行时域去噪处理。
12.根据权利要求11所述的装置，其特征在于，所述视频序列去噪模块，还包括：
图像融合单元，用于在所述分别对所述背景图像和所述运动目标图像进行时域去噪处理之后，分别将时域去噪后的背景图像和运动目标图像融合为完整的视频图像；
空域去噪单元，用于对所述融合后的视频图像进行空域去噪，获得去除噪声后的视频序列。
13.一种服务器，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的视频序列的去噪方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述的视频序列的去噪方法。
CN201810147098.1A 2018-02-12 2018-02-12 一种视频序列的去噪方法、装置、服务器和存储介质 Pending CN108447029A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810147098.1A CN108447029A (zh) 2018-02-12 2018-02-12 一种视频序列的去噪方法、装置、服务器和存储介质
PCT/CN2018/102742 WO2019153721A1 (zh) 2018-02-12 2018-08-28 视频序列的去噪方法以及装置、服务器和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810147098.1A CN108447029A (zh) 2018-02-12 2018-02-12 一种视频序列的去噪方法、装置、服务器和存储介质

Publications (1)

Publication Number Publication Date
CN108447029A true CN108447029A (zh) 2018-08-24

Family

ID=63192297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810147098.1A Pending CN108447029A (zh) 2018-02-12 2018-02-12 一种视频序列的去噪方法、装置、服务器和存储介质

Country Status (2)

Country Link
CN (1) CN108447029A (zh)
WO (1) WO2019153721A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109246332A (zh) * 2018-08-31 2019-01-18 北京达佳互联信息技术有限公司 视频流降噪方法和装置、电子设备及存储介质
WO2019153721A1 (zh) * 2018-02-12 2019-08-15 深圳创维－Rgb电子有限公司 视频序列的去噪方法以及装置、服务器和存储介质
CN111539895A (zh) * 2020-04-30 2020-08-14 广州市百果园信息技术有限公司 一种视频去噪方法、装置、移动终端和存储介质
CN111986105A (zh) * 2020-07-27 2020-11-24 成都考拉悠然科技有限公司 基于时域去噪掩码的视频时序一致性增强方法
CN112990215A (zh) * 2021-03-04 2021-06-18 腾讯科技（深圳）有限公司 图像去噪方法、装置、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3942518B1 (en) * 2020-06-08 2022-10-05 Guangzhou Computational Super-resolution Biotech Co., Ltd. Systems and methods for image processing
CN116863322B (zh) * 2023-07-28 2024-04-30 江苏中水东泽农业发展股份有限公司 基于ai的鱼类繁殖用自适应光照方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1901620A (zh) * 2005-07-19 2007-01-24 中兴通讯股份有限公司 一种基于运动检测和自适应滤波的视频图像降噪方法
CN103150739A (zh) * 2013-03-04 2013-06-12 上海大学 一种基于多特征稳健主成分分析的视频运动对象分割算法
CN104599292A (zh) * 2015-02-03 2015-05-06 中国人民解放军国防科学技术大学 一种基于低秩矩阵分解的抗噪运动目标检测算法
US20150317772A1 (en) * 2012-05-31 2015-11-05 Apple Inc. Systems and methods for chroma noise reduction
CN107093184A (zh) * 2017-04-11 2017-08-25 湖北理工学院 一种基于稀疏特征和形状相关性的超声图像序列分割方法
CN107680116A (zh) * 2017-08-18 2018-02-09 河南理工大学 一种监测视频图像中运动目标的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061100A (en) * 1997-09-30 2000-05-09 The University Of British Columbia Noise reduction for video signals
CN102014240B (zh) * 2010-12-01 2013-07-31 深圳市蓝韵实业有限公司 一种实时医学视频图像去噪方法
CN102254328B (zh) * 2011-05-17 2013-06-26 西安电子科技大学 基于部分稀疏约束非负矩阵分解的视频运动特征提取方法
CN108447029A (zh) * 2018-02-12 2018-08-24 深圳创维－Rgb电子有限公司 一种视频序列的去噪方法、装置、服务器和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1901620A (zh) * 2005-07-19 2007-01-24 中兴通讯股份有限公司 一种基于运动检测和自适应滤波的视频图像降噪方法
US20150317772A1 (en) * 2012-05-31 2015-11-05 Apple Inc. Systems and methods for chroma noise reduction
CN103150739A (zh) * 2013-03-04 2013-06-12 上海大学 一种基于多特征稳健主成分分析的视频运动对象分割算法
CN104599292A (zh) * 2015-02-03 2015-05-06 中国人民解放军国防科学技术大学 一种基于低秩矩阵分解的抗噪运动目标检测算法
CN107093184A (zh) * 2017-04-11 2017-08-25 湖北理工学院 一种基于稀疏特征和形状相关性的超声图像序列分割方法
CN107680116A (zh) * 2017-08-18 2018-02-09 河南理工大学 一种监测视频图像中运动目标的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈赟: "基于稀疏滤波的信号识别", 《电信快报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153721A1 (zh) * 2018-02-12 2019-08-15 深圳创维－Rgb电子有限公司 视频序列的去噪方法以及装置、服务器和存储介质
CN109246332A (zh) * 2018-08-31 2019-01-18 北京达佳互联信息技术有限公司 视频流降噪方法和装置、电子设备及存储介质
CN111539895A (zh) * 2020-04-30 2020-08-14 广州市百果园信息技术有限公司 一种视频去噪方法、装置、移动终端和存储介质
CN111539895B (zh) * 2020-04-30 2023-04-18 广州市百果园信息技术有限公司 一种视频去噪方法、装置、移动终端和存储介质
CN111986105A (zh) * 2020-07-27 2020-11-24 成都考拉悠然科技有限公司 基于时域去噪掩码的视频时序一致性增强方法
CN111986105B (zh) * 2020-07-27 2024-03-26 成都考拉悠然科技有限公司 基于时域去噪掩码的视频时序一致性增强方法
CN112990215A (zh) * 2021-03-04 2021-06-18 腾讯科技（深圳）有限公司 图像去噪方法、装置、设备及存储介质
CN112990215B (zh) * 2021-03-04 2023-12-12 腾讯科技（深圳）有限公司 图像去噪方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2019153721A1 (zh) 2019-08-15

Similar Documents

Publication Publication Date Title
CN108447029A (zh) 一种视频序列的去噪方法、装置、服务器和存储介质
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN111209952B (zh) 基于改进ssd和迁移学习的水下目标检测方法
Fu et al. Removing rain from single images via a deep detail network
Shahdoosti et al. Edge-preserving image denoising using a deep convolutional neural network
EP3132418B1 (en) Non local image denoising
CN109684969B (zh) 凝视位置估计方法、计算机设备及存储介质
Yildirim et al. FASA: fast, accurate, and size-aware salient object detection
CN109447073A (zh) 一种基于张量鲁棒主成分分析的红外弱小目标检测方法
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
CN110992342B (zh) 基于3datv约束的spcp红外弱小目标检测方法
Zhou et al. Infrared small target detection via incorporating spatial structural prior into intrinsic tensor sparsity regularization
Sun et al. Compressive superresolution imaging based on local and nonlocal regularizations
Junayed et al. HiMODE: A hybrid monocular omnidirectional depth estimation model
Pandey et al. A fast and effective vision enhancement method for single foggy image
Alam et al. Space-variant blur kernel estimation and image deblurring through kernel clustering
CN111445496A (zh) 一种水下图像识别跟踪系统及方法
Yeh et al. Rain streak removal based on non-negative matrix factorization
Wang et al. Convex regularized inverse filtering methods for blind image deconvolution
CN109492579B (zh) 一种基于st-sin的视频物体检测方法及系统
Ni et al. Online low-light sand-dust video enhancement using adaptive dynamic brightness correction and a rolling guidance filter
CN116630615A (zh) 红外小目标检测方法、装置、电子设备及存储介质
Zhang et al. Infrared Small Target Detection Based on Four-Direction Overlapping Group Sparse Total Variation.
CN110517196B (zh) 一种sar图像降噪方法及系统
Conti et al. A regularized deep learning approach for image de-blurring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180824

RJ01 Rejection of invention patent application after publication