CN111539884A - 一种基于多注意力机制融合的神经网络视频去模糊方法 - Google Patents
一种基于多注意力机制融合的神经网络视频去模糊方法 Download PDFInfo
- Publication number
- CN111539884A CN111539884A CN202010316381.XA CN202010316381A CN111539884A CN 111539884 A CN111539884 A CN 111539884A CN 202010316381 A CN202010316381 A CN 202010316381A CN 111539884 A CN111539884 A CN 111539884A
- Authority
- CN
- China
- Prior art keywords
- video
- deblurring
- module
- attention
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000007246 mechanism Effects 0.000 title claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 13
- 230000004927 fusion Effects 0.000 title claims abstract description 13
- 230000008447 perception Effects 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 230000001902 propagating effect Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000008602 contraction Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多注意力机制融合的神经网络视频去模糊方法，包括以下步骤：S1、构建视频去模糊模型；S2、获取原始视频序列，利用视频去模糊中的时空注意力模块提取视频帧间不同位置的空间局部和全局的信息，以及连续视频帧之间的相似性信息；S3、利用视频去模糊模型中的通道注意力模块捕获输入模糊视频序列的低频和高频不同种类的信息；S4、将上述提取的不同信息进行融合，得到去模糊特征，利用图像重构模块将去模糊后的特征从特征空间映射为图像，获得清晰的中间帧；S5、计算恢复的中间帧和其对应清晰图像的内容损失和感知损失，反向传播训练网络模型。本发明可对模糊的视频进行有效的去模糊处理，获得清晰且真实的视频数据。
Description
技术领域
本发明涉及视频图像处理技术领域，具体涉及一种基于多注意力机制融合的神经网络视频去模糊方法。
背景技术
视频是人类高级的感知。因此，视频与图像在人类感知中占据着重要的角色。相关研究表明，在人类所有接受的信息中，视频和图像等信息所占的比例高达75％。随着大数据、人工智能等技术的高速发展，数字视频已经成为人们日常生活中不可或缺的部分。然而，视频图像在采集、传输、转化等处理的过程中，由于成像设备固有的物理局限性以及外界环境干扰(成像设备抖动、遮挡、光照变化，设备与目标场景之间的相对运动)，不可避免地导致不同程度的视频图像退化。而退化的视频不仅在主观上无法给用户提供优质的视觉效果体验，而且给视频图像的后续处理以及基于人工智能的高层语义分析和识别带来困难。
视频去模糊是一个经典的视频复原问题。早期的视频图像去模糊算法是逆卷积(Inverse Filter)去卷积方法。例如Nathan等人采用二维逆滤波算法来处理从外星探测器发送回来的视频图像进行还原处理获得清晰的视频图像。Richardson等人基于贝叶斯理论，提出了一种经典的Richardson-Lucy去卷积方法。
随着深度学习的发展，深度学习方法被引入到在视频、图像去模糊任务中。基于卷积神经网络(CNN)去模糊方法，以数据驱动的方式在传统的基于优化的方法和经验之间建立了联系。例如，Su等人构建一个CNN网络DeBlurNet(DBN)，它利用CNN模型来处理跨帧的信息，视频中相邻的帧沿着RGB通道堆叠，然后输入到DBN模型中，恢复这些连续帧的中心帧；又如，考虑到传统的方法用光流来对齐图像造成模型复杂等问题，Zhang等人构建了DBLRGAN网络模型中将若干相邻视频帧对齐，并进一步使用3D卷积从中提取的时域信息来进行视频去模糊。
虽然上述方法能够恢复清晰的视频，但它们大多依赖于庞大的卷积神经网络。此外，借助于简单的CNN模型采集到的信息比较单一无法有效的建模时域和空域信息，导致恢复出来的视频出现一定的时域不连续性且恢复的视频不真实。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于多注意力机制融合的神经网络视频去模糊方法，该方法首先通过时空注意力模块，让模型感知输入视频不同空间位置的模糊程度同时提取视频帧之间清晰的特征来对模糊帧进行锐化；其次，通过通道注意力机制，让模型学习不同输入模糊帧的权重，学习其中高频和低频的信息；然后，通过特征处理和重构模块恢复产生清晰的中间帧；最后，通过计算内容和感知两种损失进行反向传播更新模型让模型产生更连续清晰的视频图像，从而能够解决现有技术所存在的问题。
为实现上述目的，本发明提供了如下技术方案：一种基于多注意力机制融合的神经网络视频去模糊方法，包括以下步骤：
S1、构建视频去模糊模型；其中，去模糊模型包括时空注意力模块、通道注意力模块、特征去模糊模块和图像重构模块；
S2、获取原始视频序列，利用视频去模糊中的时空注意力模块提取视频帧间不同位置的空间局部和全局的信息，以及连续视频帧之间的相似性信息；
S3、利用视频去模糊模型中的通道注意力模块捕获输入模糊视频序列的低频和高频不同种类的信息；
S4、将上述提取的不同信息进行融合，利用上述视频去模糊模型中的特征去模糊模块在特征空间中进行去模糊处理，得到去模糊特征，然后利用图像重构模块将去模糊后的特征从特征空间映射为图像，获得清晰的中间帧；
S5、计算恢复的中间帧和其对应清晰图像的内容损失和感知损失，反向传播训练网络模型。
作为优选的，步骤S2，时空注意力模块基于空间和时间注意力两种机制，首先，通过空间注意力机制让模型感知输入视频不同空间位置的模糊程度，并学习模糊程度高的视频帧中的位置信息；其次，通过时间注意力机制，提取相邻视频帧之间清晰的信息来对模糊帧进行锐化。
作为优选的，步骤S3，低频信息为图像背景信息；高频信息为：图像细节和结构信息。
作为优选的，步骤S3，通道注意力模块首先利用全局池化计算输入模糊视频序列的通道注意力权重，然后利用一个共享的卷积模块将这些权重进行通道扩大和缩小的操作，让模型进行通道注意力权重学习，接着把这些权重进行聚合，最后通过一个非线性激活函数Sigmoid将聚合后的权重进行非线性操作与初始的输入视频序列相乘得到不同权重的特征图。
作为优选的，步骤S4，将通过时空注意力模块和通道注意力模块提取的特征进行融合，将融合后的特征输入到特征去模糊模块进行特征去模糊处理，利用图像特征重构模块将去模糊的特征重构映射到图像空间，输出清晰的中间帧。
作为优选的，步骤S5，对恢复清晰的中间帧和其对应清晰的图像，分别计算内容损失和感知损失，利用这两种损失对视频去模糊模型进行反向传播更新参数。
本发明的优点是：与现有技术相比，本发明具有如下有益效果：
1、与现有技术相比，本发明基于注意力机制提出了一个时空注意力模块、利用该模块模型可以学习输入视频时域的信息同时提取相邻视频帧之间清晰的信息来对模糊帧进行锐化；
2、与现有技术相比，本发明基于注意力机制提出了一个通道注意力模块，模型借助于该模块可以学习输入视频图像的通道注意力权重，针对不同大小的权重对不同的特征通道进行有侧重的学习，提取连续视频帧高频和低频的特征来复原模糊帧；
3、本发明利用了感知学习，通过联合内容损失和感知损失来更新模型参数，确保模型产生清晰且真实的视频。
下面结合说明书附图和具体实施例对本发明作进一步说明。
附图说明
图1为本发明实施例的流程图；
图2为本发明实施例视频去模糊模型的应用场景示意图；
图3为图2中时空注意力模块的应用场景示意图；
图4为图2中通道注意力模块的应用场景示意图；
图5为图2中生成的去模糊视频与其他方法对比的效果示意图。
具体实施方式
参见图1至图5，本发明公开的一种基于多注意力机制融合的神经网络视频去模糊方法，包括以下步骤：
S1、构建视频去模糊模型；其中，去模糊模型包括时空注意力模块、通道注意力模块、特征去模糊模块和图像重构模块；
具体过程为：如图2所示，构建视频去模糊模型；视频去模糊模型包括时空注意力模块(如图3所示)、通道注意力模块(如图4所示)、特征去模糊模块和图像重构模块(如图2所示)。
S2、获取原始视频序列，利用视频去模糊中的时空注意力模块(支路一)提取视频帧间不同位置的空间局部和全局的信息，以及连续视频帧之间的相似性信息；
具体过程为：时空注意力模块基于空间注意和时间注意力两种机制，首先，通过空间注意力机制让模型感知输入视频不同空间位置的模糊程度，并学习模糊程度高的视频帧中的位置信息。其次，通过时间注意力机制，提取相邻视频帧之间清晰的信息来对模糊帧进行锐化。
S3、利用视频去模糊模型中的通道注意力模块(支路二)捕获输入模糊视频序列的低频和高频不同种类的信息；低频信息：图像背景信息，高频信息：图像细节、结构信息；
具体过程为，所述通道注意力模块首先利用全局池化计算输入模糊视频序列的通道注意力权重，然后利用一个共享的卷积模块将这些权重进行通道扩大和缩小的操作，让模型进行通道注意力权重学习，接着并把这些权重进行聚合，最后通过一个非线性激活函数Sigmoid将聚合后的权重进行非线性操作与初始的输入视频序列相乘得到不同权重的特征图。
S4、将上述提取的不同信息进行融合，利用上述视频去模糊模型中的特征去模糊模块在特征空间中进行去模糊处理，得到去模糊特征，然后利用图像重构模块将去模糊后的特征从特征空间映射为图像，获得清晰的中间帧；
具体过程为，将通过上述的两个支路(时空注意力模块和通道注意力模块)提取的特征进行融合，将融合后的特征输入到特征去模糊模块进行特征去模糊处理，利用图像特征重构模块将去模糊的特征重构映射到图像空间，输出清晰的中间帧。
S5、计算恢复的中间帧和其对应清晰图像的内容损失和感知损失，反向传播训练网络模型。
对所述恢复清晰的中间帧和其对应清晰的图像，分别计算内容损失和感知损失，利用这两种损失对所述视频去模糊模型进行反向传播更新参数。
实际应用时，实施本发明，具有如下有益效果：
1、与现有技术相比，本发明基于注意力机制提出了一个时空注意力模块、利用该模块模型可以学习输入视频时域的信息同时提取相邻视频帧之间清晰的信息来对模糊帧进行锐化；
2、与现有技术相比，本发明基于注意力机制提出了一个通道注意力模块，模型借助于该模块可以学习输入视频图像的通道注意力权重，针对不同大小的权重对不同的特征通道进行有侧重的学习，提取连续视频帧高频和低频的特征来复原模糊帧；
3、本发明利用了感知学习，通过联合内容损失和感知损失来更新模型参数，确保模型产生清晰且真实的视频。
上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的改进和调整均落入本发明的保护范围之内。
Claims (6)
1.一种基于多注意力机制融合的神经网络视频去模糊方法，其特征在于：包括以下步骤：
S1、构建视频去模糊模型；其中，去模糊模型包括时空注意力模块、通道注意力模块、特征去模糊模块和图像重构模块；
S2、获取原始视频序列，利用视频去模糊中的时空注意力模块提取视频帧间不同位置的空间局部和全局的信息，以及连续视频帧之间的相似性信息；
S3、利用视频去模糊模型中的通道注意力模块捕获输入模糊视频序列的低频和高频不同种类的信息；
S4、将上述提取的不同信息进行融合，利用上述视频去模糊模型中的特征去模糊模块在特征空间中进行去模糊处理，得到去模糊特征，然后利用图像重构模块将去模糊后的特征从特征空间映射为图像，获得清晰的中间帧；
S5、计算恢复的中间帧和其对应清晰图像的内容损失和感知损失，反向传播训练网络模型。
2.根据权利要求1所述的一种基于多注意力机制融合的神经网络视频去模糊方法，其特征在于：步骤S2，时空注意力模块基于空间和时间注意力两种机制，首先，通过空间注意力机制让模型感知输入视频不同空间位置的模糊程度，并学习模糊程度高的视频帧中的位置信息；其次，通过时间注意力机制，提取相邻视频帧之间清晰的信息来对模糊帧进行锐化。
3.根据权利要求1所述的一种基于多注意力机制融合的神经网络视频去模糊方法，其特征在于：步骤S3，低频信息为图像背景信息；高频信息为：图像细节和结构信息。
4.根据权利要求1所述的一种基于多注意力机制融合的神经网络视频去模糊方法，其特征在于：步骤S3，通道注意力模块首先利用全局池化计算输入模糊视频序列的通道注意力权重，然后利用一个共享的卷积模块将这些权重进行通道扩大和缩小的操作，让模型进行通道注意力权重学习，接着把这些权重进行聚合，最后通过一个非线性激活函数Sigmoid将聚合后的权重进行非线性操作与初始的输入视频序列相乘得到不同权重的特征图。
5.根据权利要求1所述的一种基于多注意力机制融合的神经网络视频去模糊方法，其特征在于：步骤S4，将通过时空注意力模块和通道注意力模块提取的特征进行融合，将融合后的特征输入到特征去模糊模块进行特征去模糊处理，利用图像特征重构模块将去模糊的特征重构映射到图像空间，输出清晰的中间帧。
6.根据权利要求1所述的一种基于多注意力机制融合的神经网络视频去模糊方法，其特征在于：步骤S5，对恢复清晰的中间帧和其对应清晰的图像，分别计算内容损失和感知损失，利用这两种损失对视频去模糊模型进行反向传播更新参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010316381.XA CN111539884B (zh) | 2020-04-21 | 2020-04-21 | 一种基于多注意力机制融合的神经网络视频去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010316381.XA CN111539884B (zh) | 2020-04-21 | 2020-04-21 | 一种基于多注意力机制融合的神经网络视频去模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111539884A true CN111539884A (zh) | 2020-08-14 |
| CN111539884B CN111539884B (zh) | 2023-08-15 |
Family
ID=71979002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010316381.XA Active CN111539884B (zh) | 2020-04-21 | 2020-04-21 | 一种基于多注意力机制融合的神经网络视频去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111539884B (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112200752A (zh) * | 2020-10-28 | 2021-01-08 | 西华大学 | 一种基于er网络多帧图像去模糊系统及其方法 |
| CN112295617A (zh) * | 2020-09-18 | 2021-02-02 | 济南大学 | 一种基于实验场景态势感知的智能烧杯 |
| CN112597887A (zh) * | 2020-12-22 | 2021-04-02 | 深圳集智数字科技有限公司 | 一种目标识别方法及装置 |
| CN113012064A (zh) * | 2021-03-10 | 2021-06-22 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN113066022A (zh) * | 2021-03-17 | 2021-07-02 | 天津大学 | 一种基于高效时空信息融合的视频比特增强方法 |
| CN113177896A (zh) * | 2021-05-20 | 2021-07-27 | 中国人民解放军国防科技大学 | 基于多路径精化融合神经网络的图像去除模糊方法 |
| CN113592736A (zh) * | 2021-07-27 | 2021-11-02 | 温州大学 | 一种基于融合注意力机制的半监督图像去模糊方法 |
| CN114140363A (zh) * | 2022-02-08 | 2022-03-04 | 腾讯科技（深圳）有限公司 | 视频去模糊方法及装置、视频去模糊模型训练方法及装置 |
| CN114187191A (zh) * | 2021-11-20 | 2022-03-15 | 西北工业大学 | 一种基于高频-低频信息融合的图像去模糊方法 |
| CN114240764A (zh) * | 2021-11-12 | 2022-03-25 | 清华大学 | 去模糊卷积神经网络训练方法、装置、设备及存储介质 |
| CN114419517A (zh) * | 2022-01-27 | 2022-04-29 | 腾讯科技（深圳）有限公司 | 视频帧处理方法、装置、计算机设备及存储介质 |
| CN114463218A (zh) * | 2022-02-10 | 2022-05-10 | 中国科学技术大学 | 一种基于事件数据驱动的视频去模糊方法 |
| CN114881888A (zh) * | 2022-06-10 | 2022-08-09 | 福州大学 | 基于线性稀疏注意力Transformer的视频去摩尔纹方法 |
| CN115002379A (zh) * | 2022-04-25 | 2022-09-02 | 武汉大学 | 视频插帧方法、训练方法、装置、电子设备和存储介质 |
| CN116030078A (zh) * | 2023-03-29 | 2023-04-28 | 之江实验室 | 多任务学习框架下结合注意力的肺叶分割方法及系统 |
| CN117319749A (zh) * | 2023-10-27 | 2023-12-29 | 深圳金语科技有限公司 | 视频数据传输方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170124432A1 (en) * | 2015-11-03 | 2017-05-04 | Baidu Usa Llc | Systems and methods for attention-based configurable convolutional neural networks (abc-cnn) for visual question answering |
| CN109978921A (zh) * | 2019-04-01 | 2019-07-05 | 南京信息工程大学 | 一种基于多层注意力机制的实时视频目标跟踪算法 |
| WO2019153908A1 (zh) * | 2018-02-11 | 2019-08-15 | 北京达佳互联信息技术有限公司 | 基于注意力模型的图像识别方法和系统 |
| CN111028166A (zh) * | 2019-11-30 | 2020-04-17 | 温州大学 | 一种基于迭代神经网络的视频去模糊方法 |
-
2020
- 2020-04-21 CN CN202010316381.XA patent/CN111539884B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170124432A1 (en) * | 2015-11-03 | 2017-05-04 | Baidu Usa Llc | Systems and methods for attention-based configurable convolutional neural networks (abc-cnn) for visual question answering |
| WO2019153908A1 (zh) * | 2018-02-11 | 2019-08-15 | 北京达佳互联信息技术有限公司 | 基于注意力模型的图像识别方法和系统 |
| CN109978921A (zh) * | 2019-04-01 | 2019-07-05 | 南京信息工程大学 | 一种基于多层注意力机制的实时视频目标跟踪算法 |
| CN111028166A (zh) * | 2019-11-30 | 2020-04-17 | 温州大学 | 一种基于迭代神经网络的视频去模糊方法 |
Non-Patent Citations (2)
| Title |
|---|
| S. SU,ET.AL: "Deep video deblurring for hand-held cameras" * |
| 董猛;吴戈;曹洪玉;景文博;于洪洋;: "基于注意力残差卷积网络的视频超分辨率重构" * |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112295617B (zh) * | 2020-09-18 | 2022-04-01 | 济南大学 | 一种基于实验场景态势感知的智能烧杯 |
| CN112295617A (zh) * | 2020-09-18 | 2021-02-02 | 济南大学 | 一种基于实验场景态势感知的智能烧杯 |
| CN112200752B (zh) * | 2020-10-28 | 2022-06-03 | 西华大学 | 一种基于er网络多帧图像去模糊系统及其方法 |
| CN112200752A (zh) * | 2020-10-28 | 2021-01-08 | 西华大学 | 一种基于er网络多帧图像去模糊系统及其方法 |
| CN112597887A (zh) * | 2020-12-22 | 2021-04-02 | 深圳集智数字科技有限公司 | 一种目标识别方法及装置 |
| CN112597887B (zh) * | 2020-12-22 | 2024-05-07 | 深圳集智数字科技有限公司 | 一种目标识别方法及装置 |
| CN113012064A (zh) * | 2021-03-10 | 2021-06-22 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN113012064B (zh) * | 2021-03-10 | 2023-12-12 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN113066022A (zh) * | 2021-03-17 | 2021-07-02 | 天津大学 | 一种基于高效时空信息融合的视频比特增强方法 |
| CN113066022B (zh) * | 2021-03-17 | 2022-08-16 | 天津大学 | 一种基于高效时空信息融合的视频比特增强方法 |
| CN113177896B (zh) * | 2021-05-20 | 2022-05-03 | 中国人民解放军国防科技大学 | 基于多路径精化融合神经网络的图像去除模糊方法 |
| CN113177896A (zh) * | 2021-05-20 | 2021-07-27 | 中国人民解放军国防科技大学 | 基于多路径精化融合神经网络的图像去除模糊方法 |
| CN113592736A (zh) * | 2021-07-27 | 2021-11-02 | 温州大学 | 一种基于融合注意力机制的半监督图像去模糊方法 |
| CN113592736B (zh) * | 2021-07-27 | 2024-01-12 | 温州大学 | 一种基于融合注意力机制的半监督图像去模糊方法 |
| CN114240764A (zh) * | 2021-11-12 | 2022-03-25 | 清华大学 | 去模糊卷积神经网络训练方法、装置、设备及存储介质 |
| CN114240764B (zh) * | 2021-11-12 | 2024-04-23 | 清华大学 | 去模糊卷积神经网络训练方法、装置、设备及存储介质 |
| CN114187191A (zh) * | 2021-11-20 | 2022-03-15 | 西北工业大学 | 一种基于高频-低频信息融合的图像去模糊方法 |
| CN114187191B (zh) * | 2021-11-20 | 2024-02-27 | 西北工业大学 | 一种基于高频-低频信息融合的图像去模糊方法 |
| CN114419517A (zh) * | 2022-01-27 | 2022-04-29 | 腾讯科技（深圳）有限公司 | 视频帧处理方法、装置、计算机设备及存储介质 |
| CN114140363B (zh) * | 2022-02-08 | 2022-05-24 | 腾讯科技（深圳）有限公司 | 视频去模糊方法及装置、视频去模糊模型训练方法及装置 |
| CN114140363A (zh) * | 2022-02-08 | 2022-03-04 | 腾讯科技（深圳）有限公司 | 视频去模糊方法及装置、视频去模糊模型训练方法及装置 |
| CN114463218B (zh) * | 2022-02-10 | 2023-10-24 | 中国科学技术大学 | 一种基于事件数据驱动的视频去模糊方法 |
| CN114463218A (zh) * | 2022-02-10 | 2022-05-10 | 中国科学技术大学 | 一种基于事件数据驱动的视频去模糊方法 |
| CN115002379B (zh) * | 2022-04-25 | 2023-09-26 | 武汉大学 | 视频插帧方法、训练方法、装置、电子设备和存储介质 |
| CN115002379A (zh) * | 2022-04-25 | 2022-09-02 | 武汉大学 | 视频插帧方法、训练方法、装置、电子设备和存储介质 |
| CN114881888A (zh) * | 2022-06-10 | 2022-08-09 | 福州大学 | 基于线性稀疏注意力Transformer的视频去摩尔纹方法 |
| CN114881888B (zh) * | 2022-06-10 | 2024-09-06 | 福州大学 | 基于线性稀疏注意力Transformer的视频去摩尔纹方法 |
| CN116030078B (zh) * | 2023-03-29 | 2023-06-30 | 之江实验室 | 多任务学习框架下结合注意力的肺叶分割方法及系统 |
| CN116030078A (zh) * | 2023-03-29 | 2023-04-28 | 之江实验室 | 多任务学习框架下结合注意力的肺叶分割方法及系统 |
| CN117319749A (zh) * | 2023-10-27 | 2023-12-29 | 深圳金语科技有限公司 | 视频数据传输方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111539884B (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111539884A (zh) | 一种基于多注意力机制融合的神经网络视频去模糊方法 | |
| CN111539879B (zh) | 基于深度学习的视频盲去噪方法及装置 | |
| US20210166350A1 (en) | Fusion network-based method for image super-resolution and non-uniform motion deblurring | |
| Yang et al. | Deep edge guided recurrent residual learning for image super-resolution | |
| CN108520504A (zh) | 一种基于生成对抗网络端到端的模糊图像盲复原方法 | |
| CN110852961A (zh) | 一种基于卷积神经网络的实时视频去噪方法及系统 | |
| CN111861902A (zh) | 基于深度学习的Raw域视频去噪方法 | |
| CN112001843B (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
| CN114494050A (zh) | 一种基于事件相机的自监督视频去模糊和图像插帧方法 | |
| CN112200732B (zh) | 一种清晰特征融合的视频去模糊方法 | |
| CN113034413B (zh) | 一种基于多尺度融合残差编解码器的低照度图像增强方法 | |
| CN115239591A (zh) | 图像处理方法、装置、电子设备、存储介质及程序产品 | |
| Choi et al. | Wavelet attention embedding networks for video super-resolution | |
| CN114463218A (zh) | 一种基于事件数据驱动的视频去模糊方法 | |
| Chen et al. | Image denoising via deep network based on edge enhancement | |
| CN117422653A (zh) | 一种基于权重共享和迭代数据优化的低光照图像增强方法 | |
| CN116612029A (zh) | 基于时空特征融合和双向循环神经网络的视频去模糊方法 | |
| Shen et al. | Spatial temporal video enhancement using alternating exposures | |
| Kang et al. | Retinomorphic sensing: A novel paradigm for future multimedia computing | |
| CN112184555B (zh) | 一种基于深度交互学习的立体图像超分辨率重建方法 | |
| Kim et al. | Event-based video deblurring based on image and event feature fusion | |
| CN114584675B (zh) | 一种自适应视频增强方法和装置 | |
| Mao et al. | Aggregating Global and Local Representations via Hybrid Transformer for Video Deraining | |
| Feng et al. | Ghost-Unet: multi-stage network for image deblurring via lightweight subnet learning | |
| CN113973175A (zh) | 一种快速的hdr视频重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |