CN111008939A - 一种基于可控特征空间的神经网络视频去模糊方法 - Google Patents
一种基于可控特征空间的神经网络视频去模糊方法 Download PDFInfo
- Publication number
- CN111008939A CN111008939A CN201911177488.4A CN201911177488A CN111008939A CN 111008939 A CN111008939 A CN 111008939A CN 201911177488 A CN201911177488 A CN 201911177488A CN 111008939 A CN111008939 A CN 111008939A
- Authority
- CN
- China
- Prior art keywords
- information
- term
- feature space
- neural network
- long
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000007774 longterm Effects 0.000 claims abstract description 25
- 238000011084 recovery Methods 0.000 claims abstract description 9
- 125000004122 cyclic group Chemical group 0.000 claims description 17
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 15
- 238000013461 design Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于可控特征空间的神经网络视频去模糊方法，包括以下步骤：从部分输入中获取短期时序信息，并从所有输入中获取长期时序信息；从所有输入中获取全局空间信息，并对长期时序信息再次进行检测；利用长期时序信息和短期时序信息计算多帧之间的联系，之后，使用全局空间信息在特征空间中进行去模糊，并将全局信息再次注入特征空间以控制特征空间；将去模糊后的多帧序列从特征空间中还原为清晰视频序列。上述技术方案，充分考虑了输入序列中帧与帧的时序信息。对此，本发明专门设计了一个时域处理模块，用于提取输入序列中的长短期时空信息，这对最后的恢复结果有重要影响。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于可控特征空间的神经网络视频去模糊方法。
背景技术
随着计算机技术的迅猛发展，视频逐渐成为最主要的多媒体信息，成为目标跟踪、安防监控、识别取证等重要任务的输入。然而，由于拍摄过程中物体运动或相机晃动等原因，作为输入的视频往往含有一定程度的模糊影响，而这些模糊内容往往严重影响了视频的可应用价值。
视频去模糊是一个经典的视频处理问题，最早被提出的视频去模糊算法是逆滤波(Inverse Filter)反卷积算法。Nathan采用二位逆滤波算法来进行还原处理，随着研究的不断深入，Donatelli等人将偏微分方程(Partial Differential Equation,PDE)理论应用于视频序列的恢复处理。此后，Fergus等人深入研究对比了运动模糊退化的视频图像以及原始清晰的视频图像各自的梯度分布，提出一种基于分布统计模型的盲运动去模糊算法。而Takeda针对视频图像序列的特性，充分利用时域上的信息，建立三维的时空不变的点扩散函数模型来对视频序列进行去模糊处理。在深度学习浪潮兴起之后，2D卷积以及3D卷积操作被广泛应用于时域信息的获取，并通过卷积神经网络强大的学习能力学习模糊视频到清晰视频的映射。
上述方法在视频去模糊领域均取得了一定的成效，但由于神经网络在前向传播过程中的信息丢失问题，恢复的清晰视频系列往往会丢失单帧之上的空间信息，造成图像失真的问题。
此外，由于对时序信息建模的不准确性，现有方法的复原视频往往会出现跳帧等问题。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于可控特征空间的神经网络视频去模糊方法，该方法是通过对神经网络特征空间进行控制防止空间信息的丢失，并通过循环神经网络与卷积神经网络相互配合的形式获取长短期时空信息的神经网络视频去模糊方法。
为实现上述目的，本发明提供了如下技术方案：一种基于可控特征空间的神经网络视频去模糊方法，包括以下步骤：
(1)从部分输入中获取短期时序信息，并从所有输入中获取长期时序信息；
(2)从所有输入中获取全局空间信息，并对长期时序信息再次进行检测；
(3)利用长期时序信息和短期时序信息计算多帧之间的联系，之后，使用全局空间信息在特征空间中进行去模糊，并将全局信息再次注入特征空间以控制特征空间；
(4)将去模糊后的多帧序列从特征空间中还原为清晰视频序列。
作为优选的，步骤(1)，利用若干卷积层和非线性激活层组成一个轻量级的VGG网络，从所有输入序列中获取长期时序联系，并通过若干循环神经网络结构从部分序列中获取相应的短期时序联系，所有视频序列将会平均分配给所有循环神经网络结构；同时，利用循环神经网络结构将检测到的短期时序联系与长期时序联系进行融合，得到长短期时序联系。
作为优选的，步骤(2)，将所有输入序列作为整体输入到若干卷积层中，利用堆叠的卷积层擅于获取高维度信息的能力，获取每一帧上像素之间的空间信息以及帧与帧之间的全局信息。
作为优选的，步骤(3)，将步骤(1)中获取到的长短期时序联系作为输入，通过若干卷积层计算帧与帧之间的相互联系，并初步实现输入序列的去模糊操作。接着，将步骤(2)中获取到的全局信息和初步去模糊结果作为输入，通过循环神经网络实现进一步的去模糊操作。其中，全局信息被平均分配给循环神经网络中的循环单元，以此实现对特征空间的控制。
作为优选的，步骤(4)，在得到去模糊后的神经网络特征之后，通过若干卷积层实现清晰视频序列的恢复；同时，通过两个全局跳跃连接保持恢复序列的基本特性。
本发明的优点是：与现有技术相比，本发明充分考虑了输入序列中帧与帧的时序信息。对此，本发明专门设计了一个时域处理模块，用于提取输入序列中的长短期时空信息，通过对神经网络特征空间的控制防止空间信息的丢失，通过循环神经网络与卷积神经网络相互配合的形式获取长短期时空信息，这对最后的恢复结果有重要影响。
下面结合说明书附图和具体实施例对本发明作进一步说明。
附图说明
图1为本发明实施例整体流程图；
图2为本发明实施例网络结构示意图；
图3为本发明实施例网络模型中两个生成器的详细结构示意图；
图4为本发明实施例网络模型时域处理模块的工作流程图；
图5为本发明实施例网络模型空域处理模块的工作流程图；
图6为本发明实施例去除不同部分的复原效果图；
图7为本发明实施例与视频去模糊领域一流方法的视觉效果比较示意图。
具体实施方式
在本实施例的描述中，需要说明的是，如出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”、“前”、“后”等，其所指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此，不能理解为对本发明的限制。此外，如出现术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
参见图1至图7，本发明公开的一种基于可控特征空间的神经网络视频去模糊方法，包括以下步骤：
(1)从部分输入中获取短期时序信息，并从所有输入中获取长期时序信息；
(2)从所有输入中获取全局空间信息，并对长期时序信息再次进行检测；
(3)利用长期时序信息和短期时序信息计算多帧之间的联系，之后，使用全局空间信息在特征空间中进行去模糊，并将全局信息再次注入特征空间以控制特征空间；
(4)将去模糊后的多帧序列从特征空间中还原为清晰视频序列。
作为优选的，步骤(1)，利用若干卷积层和非线性激活层组成一个轻量级的VGG网络，从所有输入序列中获取长期时序联系，并通过若干循环神经网络结构从部分序列中获取相应的短期时序联系，所有视频序列将会平均分配给所有循环神经网络结构；同时，利用循环神经网络结构将检测到的短期时序联系与长期时序联系进行融合，得到长短期时序联系。
作为优选的，步骤(2)，将所有输入序列作为整体输入到若干卷积层中，利用堆叠的卷积层擅于获取高维度信息的能力，获取每一帧上像素之间的空间信息以及帧与帧之间的全局信息。
作为优选的，步骤(3)，将步骤(1)中获取到的长短期时序联系作为输入，通过若干卷积层计算帧与帧之间的相互联系，并初步实现输入序列的去模糊操作。接着，将步骤(2)中获取到的全局信息和初步去模糊结果作为输入，通过循环神经网络实现进一步的去模糊操作。其中，全局信息被平均分配给循环神经网络中的循环单元，以此实现对特征空间的控制。
作为优选的，步骤(4)，在得到去模糊后的神经网络特征之后，通过若干卷积层实现清晰视频序列的恢复；同时，通过两个全局跳跃连接保持恢复序列的基本特性。
下面对本发明实施例的技术方案进一步详细说明：
本发明实施过程中需要一台有Intel Xeon Silver 4114CPU,32GB RAM和INVIDIATesla P100GPU的计算机。
参见图2，网络结构示意图，共包括一个时域处理模块，一个空域处理模块和一个视频重构模块。
步骤(1)，具体包括：
将五帧视频作为输入时，时域处理模块中的时序信息生成器将五帧视频作为输入，得到长期时序联系，同时，三个循环神经单元——ConvGRU分别将连续的三帧作为输入获取短期时序联系，并将长短期联系进行融合。
上述描述参见图2，图4，时序信息生成器由图3表述。
所述步骤(2)具体包括：
空间权重生成器结构参见图3，在模型前向传播时，空间权重生成器将所有视频序列作为输入，从中检测全局时空信息，并将检测到的信息平均分配给空域处理模块中的循环神经单元。
所述步骤(3)具体包括：
空域处理模块将由时域处理模块产生的特征层作为输入，通过六个卷积层和四个循环神经单元进行进一步的去模糊操作。
在去模糊过程中，通过将空间权重生成器生成的全局信息再次输入到特征空间中，实现对神经网络中特征空间的控制，并进一步提升去模糊效果，具体操作参见图2。
所述步骤(4)具体包括：
在时域和空域处理模块进行去模糊操作之后，需要将去模糊后的特征恢复至图像空间，在图2中，两个卷积层被用于实现上述操作。
此外，两个全局跳跃链接被用于加速网络的训练和信息的前向传播。
实际应用时，本发明通过控制神经网络的特征空间来进一步提高视频去模糊效果，同时，利用循环神经网络考虑不同输入之间联系的能力，该方法充分考虑了不同视频单帧像素之间的联系。具体来说，为了实现对神经网络特征空间的控制，在网络的前端通过若干网络结构抽取视频帧之间的长短使时空联系，在网络的中间部分，通过特定的卷积层等结构从输入序列中抽取全局联系，并将抽取到的全局联系注入特征空间。为了考虑单帧像素之间的联系，使用若干循环神经网络结构进行去模糊操作，并通过两个全局跳跃连接进一步缓解神经网络中信息丢失的问题。
实验表明，上述方法可以有效地利用视频帧与帧之间的联系及每帧像素之间的联系，并在指标和视觉效果上达到了视频去模糊领域一流水平。
上述实施例对本发明的具体描述，只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限定，本领域的技术工程师根据上述发明的内容对本发明作出一些非本质的改进和调整均落入本发明的保护范围之内。
Claims (7)
1.一种基于可控特征空间的神经网络视频去模糊方法，其特征在于：包括以下步骤：
(1)从部分输入中获取短期时序信息，并从所有输入中获取长期时序信息；
(2)从所有输入中获取全局空间信息，并对长期时序信息再次进行检测；
(3)利用长期时序信息和短期时序信息计算多帧之间的联系，之后，使用全局空间信息在特征空间中进行去模糊，并将全局信息再次注入特征空间以控制特征空间；
(4)将去模糊后的多帧序列从特征空间中还原为清晰视频序列。
2.根据权利要求1所述的一种基于可控特征空间的神经网络视频去模糊方法，其特征在于：步骤(1)，利用若干卷积层和非线性激活层组成一个轻量级的VGG网络，从所有输入序列中获取长期时序联系，并通过若干循环神经网络结构从部分序列中获取相应的短期时序联系，所有视频序列将会平均分配给所有循环神经网络结构；同时，利用循环神经网络结构将检测到的短期时序联系与长期时序联系进行融合，得到长短期时序联系。
3.根据权利要求1所述的一种基于可控特征空间的神经网络视频去模糊方法，其特征在于：步骤(2)，将所有输入序列作为整体输入到若干卷积层中，利用堆叠的卷积层擅于获取高维度信息的能力，获取每一帧上像素之间的空间信息以及帧与帧之间的全局信息。
4.根据权利要求1所述的一种基于可控特征空间的神经网络视频去模糊方法，其特征在于：步骤(3)，将步骤(1)中获取到的长短期时序联系作为输入，通过若干卷积层计算帧与帧之间的相互联系，并初步实现输入序列的去模糊操作。
5.根据权利要求4所述的一种基于可控特征空间的神经网络视频去模糊方法，其特征在于：将步骤(2)中获取到的全局信息和初步去模糊结果作为输入，通过循环神经网络实现进一步的去模糊操作。
6.根据权利要求5所述的一种基于可控特征空间的神经网络视频去模糊方法，其特征在于：全局信息被平均分配给循环神经网络中的循环单元，以此实现对特征空间的控制。
7.根据权利要求1所述的一种基于可控特征空间的神经网络视频去模糊方法，其特征在于：步骤(4)，在得到去模糊后的神经网络特征之后，通过若干卷积层实现清晰视频序列的恢复；同时，通过两个全局跳跃连接保持恢复序列的基本特性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911177488.4A CN111008939B (zh) | 2019-11-27 | 2019-11-27 | 一种基于可控特征空间的神经网络视频去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911177488.4A CN111008939B (zh) | 2019-11-27 | 2019-11-27 | 一种基于可控特征空间的神经网络视频去模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111008939A true CN111008939A (zh) | 2020-04-14 |
| CN111008939B CN111008939B (zh) | 2022-04-05 |
Family
ID=70113382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911177488.4A Active CN111008939B (zh) | 2019-11-27 | 2019-11-27 | 一种基于可控特征空间的神经网络视频去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111008939B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112351196A (zh) * | 2020-09-22 | 2021-02-09 | 北京迈格威科技有限公司 | 图像清晰度的确定方法、图像对焦方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015083199A1 (en) * | 2013-12-04 | 2015-06-11 | J Tech Solutions, Inc. | Computer device and method executed by the computer device |
| CN109447333A (zh) * | 2018-10-18 | 2019-03-08 | 山东师范大学 | 一种基于不定长模糊信息粒的时间序列预测方法和装置 |
| CN110310242A (zh) * | 2019-06-27 | 2019-10-08 | 深圳市商汤科技有限公司 | 一种图像去模糊方法及装置、存储介质 |
| CN110334718A (zh) * | 2019-07-09 | 2019-10-15 | 方玉明 | 一种基于长短期记忆的二维视频显著性检测方法 |
-
2019
- 2019-11-27 CN CN201911177488.4A patent/CN111008939B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015083199A1 (en) * | 2013-12-04 | 2015-06-11 | J Tech Solutions, Inc. | Computer device and method executed by the computer device |
| CN109447333A (zh) * | 2018-10-18 | 2019-03-08 | 山东师范大学 | 一种基于不定长模糊信息粒的时间序列预测方法和装置 |
| CN110310242A (zh) * | 2019-06-27 | 2019-10-08 | 深圳市商汤科技有限公司 | 一种图像去模糊方法及装置、存储介质 |
| CN110334718A (zh) * | 2019-07-09 | 2019-10-15 | 方玉明 | 一种基于长短期记忆的二维视频显著性检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| JIAWEI ZHANG ET AL.: "Dynamic Scene Deblurring Using Spatially Variant Recurrent Neural Networks", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| KULDEEP PUROHIT ET AL.: "Bringing Alive Blurred Moments", 《ARXIV》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112351196A (zh) * | 2020-09-22 | 2021-02-09 | 北京迈格威科技有限公司 | 图像清晰度的确定方法、图像对焦方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111008939B (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021208122A1 (zh) | 基于深度学习的视频盲去噪方法及装置 | |
| CN111539884B (zh) | 一种基于多注意力机制融合的神经网络视频去模糊方法 | |
| Li et al. | End-to-end united video dehazing and detection | |
| Ye et al. | Unsupervised learning of dense optical flow, depth and egomotion with event-based sensors | |
| CN103533214B (zh) | 一种基于卡尔曼滤波和双边滤波的视频实时去噪方法 | |
| Jing et al. | Turning frequency to resolution: Video super-resolution via event cameras | |
| CN113076685B (zh) | 图像重建模型的训练方法、图像重建方法及其装置 | |
| Zhao et al. | High-speed motion scene reconstruction for spike camera via motion aligned filtering | |
| CN104284059A (zh) | 用于稳定图像的设备和方法 | |
| CN110580713A (zh) | 基于全卷积孪生网络和轨迹预测的卫星视频目标跟踪方法 | |
| CN111028166B (zh) | 一种基于迭代神经网络的视频去模糊方法 | |
| Xiang et al. | Learning super-resolution reconstruction for high temporal resolution spike stream | |
| CN111798395B (zh) | 基于tv约束的事件相机图像重建方法及系统 | |
| CN111798370A (zh) | 基于流形约束的事件相机图像重建方法及系统 | |
| Zhang et al. | Every moment matters: Detail-aware networks to bring a blurry image alive | |
| CN114694261A (zh) | 一种基于多级监督图卷积的视频三维人体姿态估计方法及系统 | |
| CN114757862B (zh) | 用于红外光场设备的图像增强渐进式融合方法 | |
| CN111008939B (zh) | 一种基于可控特征空间的神经网络视频去模糊方法 | |
| Li et al. | A lightweight network to learn optical flow from event data | |
| Liu et al. | Application of Ghost-DeblurGAN to fiducial marker detection | |
| Liu et al. | Sensing diversity and sparsity models for event generation and video reconstruction from events | |
| Shen et al. | Pseudo-retinex decomposition-based unsupervised underwater image enhancement and beyond | |
| Shen et al. | Spatial temporal video enhancement using alternating exposures | |
| CN117893409A (zh) | 基于光照条件约束扩散模型的人脸超分辨率重建方法及系统 | |
| Liu et al. | Motion-oriented hybrid spiking neural networks for event-based motion deblurring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200414 Assignee: Wenzhou Sandi Technology Co.,Ltd. Assignor: Wenzhou University Contract record no.: X2022330000786 Denomination of invention: A neural network video deblurring method based on controllable feature space Granted publication date: 20220405 License type: Common License Record date: 20221216 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20200414 Assignee: Wenzhou Shuwanlian Information Technology Co.,Ltd. Assignor: Wenzhou University Contract record no.: X2023330000806 Denomination of invention: A neural network video deblurring method based on controllable feature space Granted publication date: 20220405 License type: Common License Record date: 20231030 |
|
| EE01 | Entry into force of recordation of patent licensing contract |