CN114240778A - 视频去噪方法、装置及终端 - Google Patents
视频去噪方法、装置及终端 Download PDFInfo
- Publication number
- CN114240778A CN114240778A CN202111536190.5A CN202111536190A CN114240778A CN 114240778 A CN114240778 A CN 114240778A CN 202111536190 A CN202111536190 A CN 202111536190A CN 114240778 A CN114240778 A CN 114240778A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- feature map
- denoising
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013135 deep learning Methods 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 14
- 238000012216 screening Methods 0.000 abstract description 5
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种视频去噪方法、装置及终端。所述方法包括:顺序获取视频中的图像序列;对所述图像序列中的第一帧图像进行去噪处理;对所述第一帧图像之后的第N帧图像,参考第N‑1帧的去噪后图像,利用第N帧图像与第N‑1帧去噪后的图像的相关性,采用基于深度学习的去噪模型进行去噪,完成所述图像序列中所有图像的去噪处理。本发明能够通过筛选前一帧的对后一帧去噪有帮助的信息,在去噪过程中更充分地利用视频的时序信息,优化去噪效果。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种视频去噪方法、装置及终端。
背景技术
通常,视频中会存在噪声,具有噪声的视频的可视性差,一定程度上会影响人们的观感,另外,还会影响视频编码的效率以及对视频进行处理的计算机视觉算法的性能。因此,在对视频进行编码或者基于视频进行计算机视觉处理之前,对视频进行去噪处理是必不可少的过程。
在现有的视频去噪方法中,有一种方法是使用视频中前一帧图像的信息对当前帧图像进行去噪处理,但该方法是采用一个运动检测模块来检测哪些区域属于静止区域,哪些区域属于移动区域,后一帧图像只是利用前一帧图像静止区域的信息,移动区域则采用普通去噪方法。这种方法没有充分利用前一帧图像的有用信息,去噪效果不够好;而且还需要额外设计一个运动检测模块,实现起来较复杂。
发明内容
本发明提供的视频去噪方法、装置及终端,能够通过筛选前一帧的对后一帧去噪有帮助的信息,在去噪过程中更充分地利用视频的时序信息,优化去噪效果。
第一方面,本发明提供一种视频去噪方法,所述方法包括:
顺序获取视频中的图像序列;
对所述图像序列中的第一帧图像进行去噪处理;
对所述第一帧图像之后的第N帧图像,参考第N-1帧的去噪后图像,利用第N帧图像与第N-1帧去噪后的图像的相关性,采用基于深度学习的去噪模型进行去噪,完成所述图像序列中所有图像的去噪处理。
可选地,所述对所述第一帧图像之后的第N帧图像,参考第N-1帧的去噪后图像,利用第N帧图像与第N-1帧去噪后的图像的相关性,采用基于深度学习的去噪模型进行去噪包括:
通过第二卷积组合模块从第N-1帧已去噪图像提取出特征图,通过第三卷积组合模块从第N帧未去噪图像中提取出特征图,将两个特征图通过拼接模块进行拼接;
将上述拼接后的特征图通过注意力模块计算出范围为[0,1]之间的权重矩阵;
将第N-1帧已去噪图像通过第一卷积组合模块提取出特征图,将该特征图与上述权重矩阵通过乘法模块进行加权相乘,得到加权后的特征图;
将第N帧未去噪图像经过第四卷积组合模块CNN_Block4提取出特征图,然后与上述经过加权后的特征图通过拼接模块进行拼接;
将上述拼接后的特征图经过第五卷积组合模块,计算出第N帧图像的噪声。
通过减法模块将第N帧未去噪图像减去上述计算出来的第N帧图像的噪声,得到第N帧已去噪图像。
可选地,所述卷积组合模块为多个卷积、激活函数、归一化和残差算子的任意组合。
可选地,所述拼接模块用于将两个特征图拼接为一个特征图,即将维度为(n,c1,h,w)的特征图和维度为(n,c2,h,w)的特征图拼接为一个维度为(n,c1+c2,h,w)的特征图,其中,n为输入样本个数,c1、c2为特征图的通道数,h为特征图的高,w为特征图的宽。
第二方面,本发明提供一种视频去噪装置,所述装置包括:
获取单元,用于顺序获取视频中的图像序列;
第一去噪单元,用于对所述图像序列中的第一帧图像进行去噪处理;
第二去噪单元,用于对所述第一帧图像之后的第N帧图像,参考第N-1帧的去噪后图像,利用第N帧图像与第N-1帧去噪后的图像的相关性,采用基于深度学习的去噪模型进行去噪,完成所述图像序列中所有图像的去噪处理。
可选地,所述第二去噪单元包括:
第二卷积组合模块,用于从第N-1帧已去噪图像中提取出特征图;
第三卷积组合模块,用于从第N帧未去噪图像中提取出特征图;
第一拼接模块,用于将所述第二卷积组合模块提取的第二特征图和所述第三卷积组合模块提取的特征图进行拼接;
注意力模块,用于对所述第一拼接模块拼接后得到的特征图计算出范围为[0,1]之间的权重矩阵;
第一卷积组合模块,用于从第N-1帧已去噪图像中提取出特征图;
乘法模块,用于将所述第一卷积组合模块提取的特征图与所述权重矩阵进行加权相乘,得到加权后的特征图;
第四卷积组合模块,用于从第N帧未去噪图像中提取出特征图;
第二拼接模块,用于将所述第四卷积组合模块提取的特征图与所述加权后的特征图进行拼接;
第五卷积组合模块,用于对所述第二拼接模块拼接后得到的特征图计算出第N帧图像的噪声;
减法模块,用于将第N帧未去噪图像减去所述第N帧图像的噪声,得到第N帧已去噪图像。
可选地,所述卷积组合模块为多个卷积、激活函数、归一化和残差算子的任意组合。
可选地,所述拼接模块用于将两个特征图拼接为一个特征图,即将维度为(n,c1,h,w)的特征图和维度为(n,c2,h,w)的特征图拼接为一个维度为(n,c1+c2,h,w)的特征图,其中,n为输入样本个数,c1、c2为特征图的通道数,h为特征图的高,w为特征图的宽。
第三方面,本发明提供一种终端,所述终端包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述视频去噪方法。
第四方面,本发明提供一种芯片,所述芯片包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述视频去噪方法。
第五方面,本发明提供一种芯片模组,所述芯片模组包括上述芯片。
第六方面,本发明提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有计算机指令,所述计算机指令被处理器执行时实现上述视频去噪方法。
本发明实施例提供的视频去噪方法、装置及终端,所采用的基于深度学习的去噪模型的输入除第N帧未去噪图像,还包括第N-1帧已去噪图像,这样就可以利用两帧图像之间的相似性,通过筛选前一帧的对后一帧去噪有帮助的信息,在去噪过程中更充分地利用视频的时序信息,从而能够用第N-1帧图像的去噪效果优化第N帧图像的去噪效果。
附图说明
图1为本发明一实施例视频去噪方法的流程图;
图2为本发明另一实施例视频去噪方法的流程图;
图3为本发明实施例提供的基于深度学习的去噪模型的结构示意图;
图4为本发明一实施例视频去噪装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种视频去噪方法,所述方法应用于终端,如图1所示,所述方法包括:
S11、顺序获取视频中的图像序列;
S12、对所述图像序列中的第一帧图像进行去噪处理;
S13、对所述第一帧图像之后的第N帧图像,参考第N-1帧的去噪后图像,利用第N帧图像与第N-1帧去噪后的图像的相关性,采用基于深度学习的去噪模型进行去噪,完成所述图像序列中所有图像的去噪处理。
本发明实施例提供的视频去噪方法,所采用的基于深度学习的去噪模型的输入除第N帧未去噪图像,还包括第N-1帧已去噪图像,这样就可以利用两帧图像之间的相似性,通过筛选前一帧的对后一帧去噪有帮助的信息,在去噪过程中更充分地利用视频的时序信息,从而能够用第N-1帧图像的去噪效果优化第N帧图像的去噪效果。
下面结合具体实施例对本发明视频去噪方法进行详细说明。
如图2所示,本实施例提供的视频去噪方法包括:
S21、顺序获取视频中的图像序列。
S22、对所述图像序列中的第一帧图像进行去噪处理。
具体地,可以采用常规的图像去噪方法对第一帧图像进行去噪处理,其中,所述常规的图像去噪方法可以是传统的去噪方法,例如高斯滤波、导向滤波、Non-Local Mean等,也可以是基于深度学习的图像去噪方法。
S23、对所述第一帧图像之后的第N帧图像,参考第N-1帧的去噪后图像,利用第N帧图像与第N-1帧去噪后的图像的相关性,采用基于深度学习的去噪模型进行去噪,得到去噪后的第N帧图像。
所述基于深度学习的去噪模型的输入除第N帧的未去噪图像,还包括第N-1帧的已去噪图像,这样就可以利用两帧图像之间的相似性,用第N-1帧图像的去噪效果优化第N帧的去噪效果。
所述基于深度学习的去噪模型的结构如图3所示,具体流程如下:
将第N-1帧已去噪图像通过第二卷积组合模块CNN_Blocks2提取出特征图,将第N帧未去噪图像经过第三卷积组合模块CNN_Block3提取出特征图,将两个特征图通过拼接模块进行拼接;
将上述拼接后的特征图通过注意力模块Attention Block计算出范围为[0,1]之间的权重矩阵;
将第N-1帧已去噪图像通过第一卷积组合模块CNN_Blocks1提取出特征图,将该特征图与上述权重矩阵通过乘法模块进行加权相乘,得到加权后的特征图,来提示神经网络该关注第N-1帧已去噪图像特征图中的哪些部分。与第N帧未去噪图像相似性高,关联性高的部分在学习的过程中会得到更高的权重;
将第N帧未去噪图像经过第四卷积组合模块CNN_Block4提取出特征图,然后与上述经过加权后的特征图通过拼接模块进行拼接;
将上述拼接后的特征图经过第五卷积组合模块CNN_Blocks5,计算出第N帧图像的噪声;
通过减法模块将第N帧未去噪图像减去上述计算出来的第N帧图像的噪声,得到第N帧已去噪图像。
其中,各模块所实现的功能如下:
卷积组合模块:可以是多个卷积+激活函数+归一化+残差等算子的组合,组合方式可以自由设计。可选地,可以是n个3×3的卷积+RELU的串连组合。
拼接模块:将两个特征图拼接为一个特征图,即将维度为(n,c1,h,w)的特征图和维度为(n,c2,h,w)的特征图拼接为一个维度为(n,c1+c2,h,w)的特征图。其中,n为输入样本个数,c1、c2为特征图的通道数,h为特征图的高,w为特征图的宽。
注意力模块:该模块是多个卷积和激活函数的组合,该模块的输出可以用sigmoid等激活函数,将输出限定在[0,1]之间。
乘法模块:将两个特征图对应位置的值相乘。
减法模块:将两个特征图对应位置的值相减。
上述去噪模型的参数通过大量的训练样本学习之后获得,训练样本为大量的连续两帧图片组,输入样本为前一帧干净图片和后一帧带噪声的图片,监督样本为后一帧干净图片。损失函数可以采用L1、L2、SSIM(Structural Similarity,结构相似性)等任何一种或者几种组合的损失。学习方法可以用梯度下降法、ADAM(Adaptive Moment Estimation,自适应矩估计)等任何一种深度学习优化方法。
S24、将去噪后的第N帧图像进行缓存。
对第一帧图像之后的每一帧图像依次执行步骤S23和S24,直至所有图像去噪完成,至此,该视频去噪完成。
本发明实施例提供的视频去噪方法,所采用的基于深度学习的去噪模型的输入除第N帧未去噪图像,还包括第N-1帧已去噪图像,这样就可以利用两帧图像之间的相似性,利用注意力神经网络来筛选前一帧的对后一帧去噪有帮助的信息,在去噪过程中更充分地利用视频的时序信息,从而能够用第N-1帧图像的去噪效果优化第N帧图像的去噪效果。
本发明实施例还提供一种视频去噪装置,所述装置位于终端,如图4所示,所述装置包括:
获取单元11,用于顺序获取视频中的图像序列;
第一去噪单元12,用于对所述图像序列中的第一帧图像进行去噪处理;
第二去噪单元13,用于对所述第一帧图像之后的第N帧图像,参考第N-1帧的去噪后图像,利用第N帧图像与第N-1帧去噪后的图像的相关性,采用基于深度学习的去噪模型进行去噪,完成所述图像序列中所有图像的去噪处理。
本发明实施例提供的视频去噪装置,所采用的基于深度学习的去噪模型的输入除第N帧未去噪图像,还包括第N-1帧已去噪图像,这样就可以利用两帧图像之间的相似性,通过筛选前一帧的对后一帧去噪有帮助的信息,在去噪过程中更充分地利用视频的时序信息,从而能够用第N-1帧图像的去噪效果优化第N帧图像的去噪效果。
可选地,所述第二去噪单元包括:
第二卷积组合模块,用于从第N-1帧已去噪图像中提取出特征图;
第三卷积组合模块,用于从第N帧未去噪图像中提取出特征图;
第一拼接模块,用于将所述第二卷积组合模块提取的第二特征图和所述第三卷积组合模块提取的特征图进行拼接;
注意力模块,用于对所述第一拼接模块拼接后得到的特征图计算出范围为[0,1]之间的权重矩阵;
第一卷积组合模块,用于从第N-1帧已去噪图像中提取出特征图;
乘法模块,用于将所述第一卷积组合模块提取的特征图与所述权重矩阵进行加权相乘,得到加权后的特征图;
第四卷积组合模块,用于从第N帧未去噪图像中提取出特征图;
第二拼接模块,用于将所述第四卷积组合模块提取的特征图与所述加权后的特征图进行拼接;
第五卷积组合模块,用于对所述第二拼接模块拼接后得到的特征图计算出第N帧图像的噪声;
减法模块,用于将第N帧未去噪图像减去所述第N帧图像的噪声,得到第N帧已去噪图像。
可选地,所述卷积组合模块为多个卷积、激活函数、归一化和残差算子的任意组合。
可选地,所述拼接模块用于将两个特征图拼接为一个特征图,即将维度为(n,c1,h,w)的特征图和维度为(n,c2,h,w)的特征图拼接为一个维度为(n,c1+c2,h,w)的特征图,其中,n为输入样本个数,c1、c2为特征图的通道数,h为特征图的高,w为特征图的宽。
本实施例的装置,可以用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本发明实施例还提供一种终端,所述终端包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述视频去噪方法。
本发明实施例还提供一种芯片,所述芯片包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述视频去噪方法。
本发明提供一种芯片模组,所述芯片模组包括上述芯片。
本发明实施例还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储有计算机指令,所述计算机指令被处理器执行时实现上述视频去噪方法。
本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (12)
1.一种视频去噪方法,其特征在于,所述方法包括:
顺序获取视频中的图像序列;
对所述图像序列中的第一帧图像进行去噪处理;
对所述第一帧图像之后的第N帧图像,参考第N-1帧的去噪后图像,利用第N帧图像与第N-1帧去噪后的图像的相关性,采用基于深度学习的去噪模型进行去噪,完成所述图像序列中所有图像的去噪处理。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一帧图像之后的第N帧图像,参考第N-1帧的去噪后图像,利用第N帧图像与第N-1帧去噪后的图像的相关性,采用基于深度学习的去噪模型进行去噪包括:
通过第二卷积组合模块从第N-1帧已去噪图像提取出特征图,通过第三卷积组合模块从第N帧未去噪图像中提取出特征图,将两个特征图通过拼接模块进行拼接;
将上述拼接后的特征图通过注意力模块计算出范围为[0,1]之间的权重矩阵;
将第N-1帧已去噪图像通过第一卷积组合模块提取出特征图,将该特征图与上述权重矩阵通过乘法模块进行加权相乘,得到加权后的特征图;
将第N帧未去噪图像经过第四卷积组合模块CNN_Block4提取出特征图,然后与上述经过加权后的特征图通过拼接模块进行拼接;
将上述拼接后的特征图经过第五卷积组合模块,计算出第N帧图像的噪声。
通过减法模块将第N帧未去噪图像减去上述计算出来的第N帧图像的噪声,得到第N帧已去噪图像。
3.根据权利要求2所述的方法,其特征在于,所述卷积组合模块为多个卷积、激活函数、归一化和残差算子的任意组合。
4.根据权利要求2所述的方法,其特征在于,所述拼接模块用于将两个特征图拼接为一个特征图,即将维度为(n,c1,h,w)的特征图和维度为(n,c2,h,w)的特征图拼接为一个维度为(n,c1+c2,h,w)的特征图,其中,n为输入样本个数,c1、c2为特征图的通道数,h为特征图的高,w为特征图的宽。
5.一种视频去噪装置,其特征在于,所述装置包括:
获取单元,用于顺序获取视频中的图像序列;
第一去噪单元,用于对所述图像序列中的第一帧图像进行去噪处理;
第二去噪单元,用于对所述第一帧图像之后的第N帧图像,参考第N-1帧的去噪后图像,利用第N帧图像与第N-1帧去噪后的图像的相关性,采用基于深度学习的去噪模型进行去噪,完成所述图像序列中所有图像的去噪处理。
6.根据权利要求5所述的装置,其特征在于,所述第二去噪单元包括:
第二卷积组合模块,用于从第N-1帧已去噪图像中提取出特征图;
第三卷积组合模块,用于从第N帧未去噪图像中提取出特征图;
第一拼接模块,用于将所述第二卷积组合模块提取的第二特征图和所述第三卷积组合模块提取的特征图进行拼接;
注意力模块,用于对所述第一拼接模块拼接后得到的特征图计算出范围为[0,1]之间的权重矩阵;
第一卷积组合模块,用于从第N-1帧已去噪图像中提取出特征图;
乘法模块,用于将所述第一卷积组合模块提取的特征图与所述权重矩阵进行加权相乘,得到加权后的特征图;
第四卷积组合模块,用于从第N帧未去噪图像中提取出特征图;
第二拼接模块,用于将所述第四卷积组合模块提取的特征图与所述加权后的特征图进行拼接;
第五卷积组合模块,用于对所述第二拼接模块拼接后得到的特征图计算出第N帧图像的噪声;
减法模块,用于将第N帧未去噪图像减去所述第N帧图像的噪声,得到第N帧已去噪图像。
7.根据权利要求6所述的装置,其特征在于,所述卷积组合模块为多个卷积、激活函数、归一化和残差算子的任意组合。
8.根据权利要求6所述的装置,其特征在于,所述拼接模块用于将两个特征图拼接为一个特征图,即将维度为(n,c1,h,w)的特征图和维度为(n,c2,h,w)的特征图拼接为一个维度为(n,c1+c2,h,w)的特征图,其中,n为输入样本个数,c1、c2为特征图的通道数,h为特征图的高,w为特征图的宽。
9.一种终端,其特征在于,所述终端包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至4中任一项所述的方法。
10.一种芯片,其特征在于,所述芯片包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至4中任一项所述的方法。
11.一种芯片模组,其特征在于,所述芯片模组包括权利要求10所述的芯片。
12.一种计算机可读存储介质,其中,所述计算机可读存储介质存储有计算机指令,所述计算机指令被处理器执行时实现如权利要求1至4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111536190.5A CN114240778A (zh) | 2021-12-15 | 2021-12-15 | 视频去噪方法、装置及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111536190.5A CN114240778A (zh) | 2021-12-15 | 2021-12-15 | 视频去噪方法、装置及终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114240778A true CN114240778A (zh) | 2022-03-25 |
Family
ID=80756506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111536190.5A Pending CN114240778A (zh) | 2021-12-15 | 2021-12-15 | 视频去噪方法、装置及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114240778A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114742857A (zh) * | 2022-06-13 | 2022-07-12 | 深圳比特微电子科技有限公司 | 一种首帧图像的去噪方法、去噪装置、电子设备 |
-
2021
- 2021-12-15 CN CN202111536190.5A patent/CN114240778A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114742857A (zh) * | 2022-06-13 | 2022-07-12 | 深圳比特微电子科技有限公司 | 一种首帧图像的去噪方法、去噪装置、电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108805015B (zh) | 加权卷积自编码长短期记忆网络人群异常检测方法 | |
CN112102204B (zh) | 图像增强方法、装置及电子设备 | |
CN109993712B (zh) | 图像处理模型的训练方法、图像处理方法及相关设备 | |
US20200118248A1 (en) | Image noise intensity estimation method, image noise intensity estimation device, and image recognition device | |
CN110148088B (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
CN110189260B (zh) | 一种基于多尺度并行门控神经网络的图像降噪方法 | |
CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
US20230177652A1 (en) | Image restoration method and apparatus, and electronic device | |
CN114463218B (zh) | 一种基于事件数据驱动的视频去模糊方法 | |
CN112150400B (zh) | 图像增强方法、装置和电子设备 | |
CN110782406B (zh) | 一种基于信息蒸馏网络的图像去噪方法及装置 | |
CN112200732B (zh) | 一种清晰特征融合的视频去模糊方法 | |
CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
CN114240778A (zh) | 视频去噪方法、装置及终端 | |
CN116012266B (zh) | 图像去噪方法、系统、设备及存储介质 | |
CN110188752B (zh) | 监控视频下模糊车牌的去模糊识别系统及去模糊识别方法 | |
CN115358952B (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
CN114926348B (zh) | 一种去除低照度视频噪声的装置和方法 | |
CN113256528B (zh) | 基于多尺度级联深度残差网络的低照度视频增强方法 | |
CN110430340B (zh) | 一种脉冲阵列信号的降噪方法与系统 | |
CN113012072A (zh) | 一种基于注意力网络的图像运动去模糊方法 | |
CN116091364B (zh) | 图像模糊处理方法、装置、电子设备和存储介质 | |
CN115797750B (zh) | 一种基于深度学习算法的大尺寸图像快速传输方法 | |
CN116523767B (zh) | 一种结合雾浓度分类的图像去雾方法及系统 | |
CN114882405B (zh) | 一种基于时空双流金字塔网络架构的视频显著性检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |