CN117726549B - 基于事件引导的图像去模糊方法 - Google Patents
基于事件引导的图像去模糊方法 Download PDFInfo
- Publication number
- CN117726549B CN117726549B CN202410172051.6A CN202410172051A CN117726549B CN 117726549 B CN117726549 B CN 117726549B CN 202410172051 A CN202410172051 A CN 202410172051A CN 117726549 B CN117726549 B CN 117726549B
- Authority
- CN
- China
- Prior art keywords
- image
- event
- feature
- deblurring
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims abstract description 4
- 230000004913 activation Effects 0.000 claims description 37
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 31
- 230000008569 process Effects 0.000 description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003592 biomimetic effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域，尤其涉及一种基于事件引导的图像去模糊方法，包括：S1：获取事件相机的去模糊数据集；S2：采用事件时空体素网格表示法对事件流进行处理，获得事件体素；S3：构建基于事件引导的去模糊网络，基于事件引导的去模糊网络包括特征提取网络和去模糊主干网络；S4：构建总损失函数，利用总损失函数和GT图像对基于事件引导的去模糊网络进行训练，获得训练好的基于事件引导的去模糊网络；S5：将模糊图像和事件体素输入至训练好的基于事件引导的去模糊网络进行特征提取和特征融合，获得去模糊后的清晰图像。本发明能够解决现有的去模糊方法的计算量大和不具备实时性等问题。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于事件引导的图像去模糊方法。
背景技术
事件相机是一种新型的仿生视觉传感器，它不以恒定速率捕获图像，而是仅响应场景中光强发生变化的地方。事件生成过程如图1所示，当光强变化超过设定阈值时，事件相机会以微秒级的时间分辨率标记时间戳，并输出事件。特殊的成像方式使得事件相机具有高时间分辨率的特性，能够以非常高的速度捕获事件数据，因此对于快速移动的物体或者高动态范围的场景非常具有优势。现有的方法是将模糊图像看作是一系列潜像的积分，而事件则表示潜像之间的变化。通过将事件数据与潜像相关联来对模糊生成的过程进行建模，利用单个模糊帧及其事件数据重建高帧率、清晰的视频。且现有技术还提出了事件增强稀疏学习网络（eSLNet），利用稀疏学习的框架，联合考虑事件和模糊图像的强度观测来从事件相机中恢复高质量图像。现有技术利用事件流作为辅助来去除图像模糊，但依然存在数据集制作不规范、易受噪声损坏和阈值不确定性等的问题，导致现有技术不能对模糊图像与事件流中包含的运动信息进行有效的处理。
发明内容
本发明为解决现有技术因存在数据集制作不规范、易受噪声损坏和阈值不确定性等的问题，导致不能对模糊图像与事件流中包含的运动信息进行有效的处理的问题，提供一种基于事件引导的图像去模糊方法，创建了可作为基准的事件相机去模糊网络数据集，且解决现有的去模糊方法的计算量大和不具备实时性等问题。
本发明提出的基于事件引导的图像去模糊方法，具体包括如下步骤：
S1：获取事件相机的去模糊数据集，去模糊数据集由模糊图像、GT图像和事件流构成。
步骤S1具体包括如下步骤：
S11：将在Gopro数据集中选取的来自270个视频的清晰图片序列作为待测数据集，且待测数据集的分辨率为1280*720；
S12：利用事件相机模拟器的帧插值算法对待测数据集进行处理，使待测数据集的帧速率提升为360fps，获得GT图像；
S13：对GT图像所包含的图片依次进行灰度和双三次插值的下采样操作，使GT图像所包含图片的分辨率均调整为240*180；
S14：利用事件相机模拟器生成与GT图像相对应的事件流；
S15：将调整后的GT图像所包含的每个视频中的每13张连续视频帧均划分为一组，并对每组连续帧进行平均，获得占空比t=13/15的模糊图像。
S2：采用事件时空体素网格表示法对事件流进行处理，获得事件体素。
S3：构建基于事件引导的去模糊网络，基于事件引导的去模糊网络包括特征提取网络和去模糊主干网络。
S4：构建暗通道损失函数，暗通道损失函数与L1损失函数构成总损失函数，利用总损失函数和GT图像对基于事件引导的去模糊网络进行训练，获得训练好的基于事件引导的去模糊网络。
总损失函数：
（1）；
（2）；
（3）；
其中，λ为平衡参数，为L1损失函数，/>为暗通道损失函数，/>为GT图像对应的暗通道图像，/>为去模糊后的清晰图像对应的暗通道图像，L(gt)为GT图像，L（pred）为去模糊后的清晰图像。
S5：将模糊图像和事件体素输入至训练好的基于事件引导的去模糊网络进行特征提取和特征融合，获得去模糊后的清晰图像。
优选地，特征提取网络包括1*1卷积层、3*3卷积层、Relu激活层和通道注意力模块，其中，将模糊图像输入至1*1卷积层进行特征映射的提取，获得特征图像A1，将事件体素输入至1*1卷积层进行特征映射的提取，获得特征图像B1，特征图像B1经3*3卷积层进行两次卷积及相应的Relu激活操作，对应获得特征图像B2，将事件体素还输入至1*1卷积层进行卷积操作，获得特征图像B3，将特征图像B2和特征图像B3相加，获得特征图像B4，将特征图像A1和特征图像B4相乘后输入至通道注意力模块进行处理，获得特征图像C；
去模糊主干网络包括编码器、解码器和1*1卷积层，其中，特征图像C依次输入至跳跃连接的编码器和解码器进行编码和解码，获得特征图像D，特征图像D1经1*1卷积层进行卷积操作，获得去模糊后的清晰图像。
优选地，通道注意力模块包括池化层、3*3卷积层、Relu激活层和Sigmoid激活层，输入至通道注意力模块的特征图像C1经池化层进行池化操作，获得特征图像C2，特征图像C2经3*3卷积层进行卷积及相应的Relu激活操作，获得特征图像C3，特征图像C3经3*3卷积层进行卷积及相应的Sigmoid激活操作，获得特征图像C4，将特征图像C4与特征图像C1相乘，获得特征图像C。
优选地，编码器包括四层编码层，且每一层编码层均包括5*5卷积层、残差块和Relu激活层，输入至编码层的特征图像D1经5*5卷积层进行卷积操作，获得特征图像D2，特征图像D2经残差块进行三次残差及相应的Relu激活操作，获得特征图像D3；
解码器包括四层解码层，且每一层解码层均包括5*5反卷积层、残差块和Relu激活层，输入至解码层的特征图像E1经5*5反卷积层进行反卷积操作，获得特征图像E2，特征图像E2经残差块进行三次残差及相应的Relu激活操作，获得特征图像E3。
优选地，残差块包括3*3卷积层和Relu激活层，输入至残差块的特征图像F1经3*3卷积层进行卷积及相应的Relu激活操作，获得特征图像F2，特征图像F2经3*3卷积层进行卷积操作后，获得残差块的输出特征图像F3。
与现有技术相比，本发明能够取得如下有益效果：
（1）与现有技术使用的ESIM事件相机模拟器不同，本发明使用的事件相机模拟器V2e无需依赖ros环境，在windows上即可很好的合成事件流。另外，本发明通过将生成事件流的图片序列从8倍改成3倍，使生成的事件流具有数据量小，集成度高，时间戳严格对齐等突出优点。
（2）本发明提出的基于事件引导的去模糊网络能够接受混合类型的输入数据，通过融合模糊图像和相应曝光时间内的事件流，生成一系列潜在的清晰图像。本发明通过特征提取网络中的卷积块和激活函数组合来提取事件流和模糊图像的灰度帧数据的信息，并将事件特征与图像特征相乘后引入通道注意力模块，通过提高特征提取网络对关键信息的敏感性来关注模糊图像中的严重模糊区域。
（3）本发明利用pytorch中的内置函数——unfold函数，实现了暗通道先验在基于事件引导的去模糊网络中的反向传播，并采用L1损失函数来约束模糊图像暗通道和清晰图像按通道之间的差异性，使基于事件引导的去模糊网络得到了更好的训练。
附图说明
图1是事件相机的生成事件过程图；
图2是根据本发明实施例提供的基于事件引导的图像去模糊方法的流程示意图；
图3是根据本发明实施例提供的基于事件引导的去模糊网络的网络结构示意图。
具体实施方式
在下文中，将参考附图描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重复其详细描述。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
图2示出了根据本发明实施例提供的基于事件引导的图像去模糊方法的流程。
如图2所示，本发明提出的基于事件引导的图像去模糊方法，具体包括如下步骤：
S1：获取事件相机的去模糊数据集，去模糊数据集由模糊图像、GT图像和事件流构成。
步骤S1具体包括如下步骤：
S11：将在Gopro数据集中选取的来自270个视频的清晰图片序列作为待测数据集，且待测数据集的分辨率为1280*720；
S12：利用事件相机模拟器的帧插值算法对待测数据集进行处理，使待测数据集的帧速率提升为360fps，获得GT图像；
S13：对GT图像所包含的图片依次进行灰度和双三次插值的下采样操作，使GT图像所包含图片的分辨率均调整为240*180；
S14：利用事件相机模拟器生成与GT图像相对应的事件流；
S15：将调整后的GT图像所包含的每个视频中的每13张连续视频帧均划分为一组，并对每组连续帧进行平均，获得占空比t=13/15的模糊图像。
S2：采用事件时空体素网格表示法对事件流进行处理，获得事件体素。
S3：构建基于事件引导的去模糊网络，基于事件引导的去模糊网络包括特征提取网络和去模糊主干网络。
S4：构建暗通道损失函数，暗通道损失函数与L1损失函数构成总损失函数，利用总损失函数和GT图像对基于事件引导的去模糊网络进行训练，获得训练好的基于事件引导的去模糊网络。
S5：将模糊图像和事件体素输入至训练好的基于事件引导的去模糊网络进行特征提取和特征融合，获得去模糊后的清晰图像。
图3示出了根据本发明实施例提供的基于事件引导的去模糊网络的网络结构。
如图3所示，特征提取网络包括1*1卷积层、3*3卷积层、Relu激活层和通道注意力模块，其中，将模糊图像输入至1*1卷积层进行特征映射的提取，获得特征图像A1，将事件体素输入至1*1卷积层进行特征映射的提取，获得特征图像B1，特征图像B1经3*3卷积层进行两次卷积及相应的Relu激活操作，对应获得特征图像B2，将事件体素还输入至1*1卷积层进行卷积操作，获得特征图像B3，将特征图像B2和特征图像B3相加，获得特征图像B4，将特征图像A1和特征图像B4相乘后输入至通道注意力模块进行处理，获得特征图像C。
通道注意力模块包括池化层、3*3卷积层、Relu激活层和Sigmoid激活层，输入至通道注意力模块的特征图像C1经池化层进行池化操作，获得特征图像C2，特征图像C2经3*3卷积层进行卷积及相应的Relu激活操作，获得特征图像C3，特征图像C3经3*3卷积层进行卷积及相应的Sigmoid激活操作，获得特征图像C4，将特征图像C4与特征图像C1相乘，获得特征图像C。
去模糊主干网络包括编码器、解码器和1*1卷积层，其中，特征图像C依次输入至跳跃连接的编码器和解码器进行编码和解码，获得特征图像D，特征图像D1经1*1卷积层进行卷积操作，获得去模糊后的清晰图像。
编码器包括四层编码层，且每一层编码层均包括5*5卷积层、残差块和Relu激活层，输入至编码层的特征图像D1经5*5卷积层进行卷积操作，获得特征图像D2，特征图像D2经残差块进行三次残差及相应的Relu激活操作，获得特征图像D3；
解码器包括四层解码层，且每一层解码层均包括5*5反卷积层、残差块和Relu激活层，输入至解码层的特征图像E1经5*5反卷积层进行反卷积操作，获得特征图像E2，特征图像E2经残差块进行三次残差及相应的Relu激活操作，获得特征图像E3。
残差块包括3*3卷积层和Relu激活层，输入至残差块的特征图像F1经3*3卷积层进行卷积及相应的Relu激活操作，获得特征图像F2，特征图像F2经3*3卷积层进行卷积操作后，获得残差块的输出特征图像F3。
暗通道先验源于对模糊过程的有趣观察：模糊图像的暗通道（局部邻域中的最小像素值）并不那么暗。直观上，当在模糊过程中将暗像素与邻近的高强度像素进行平均时，强度值会增加。最早的暗通道用于RGB图像，但其在灰度图像中依然适用，对于灰度图像，其暗通道的数学定义为：
（1）；
其中，x和y分别为模糊图像的像素坐标，N(x)表示以坐标x为中心的图像块，I为灰度图像，D为暗通道函数。
虽然在复原图像上添加暗通道先验约束已被证明能够有效地去除模糊，但是式（1）是一个非凸的非线性函数，其在神经网络中进行正向和反向传播成为一个具有挑战性的问题。本发明实施例利用pytorch中的内置函数——unfold函数，将每个块的最小值（即暗像素）排成一列，再重新拼接成暗像素图像。本发明实施例基于暗通道先验设计了一个暗通道损失函数，即利用模糊先验来监督基于事件引导的去模糊网络的训练，使基于事件引导的去模糊网络能够更好的拟合，另外，本发明实施例采用L1损失函数来约束模糊图像暗通道和清晰图像暗通道之间的差异性。
本发明实施例提出的总损失函数包括L1损失函数和暗通道损失函数，总损失函数的计算公式如下：
（2）；
（3）；
（4）；
其中，λ为平衡参数，为L1损失函数，/>为暗通道损失函数，/>为GT图像对应的暗通道图像，/>为去模糊后的清晰图像对应的暗通道图像L(gt)为GT图像，L（pred）为去模糊后的清晰图像。
在训练网络时，总损失函数值逐渐变小，代表去模糊后的清晰图像与GT图像逐渐接近。本发明实施例通过梯度下降法对基于事件引导的去模糊网络的网络参数进行更新。当总损失函数的下降梯度逐渐减小，直至总损失函数值不再降低时，即完成基于事件引导的去模糊网络的训练。具体为：在训练过程中，将初始学习率设置为0.0001，训练单元总数为50，平衡参数λ为0.5，且将batchsize设置为2，本发明实施例的优化器使用Adam算法，Adam算法的参数为β1=0.9，β2=0.999。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (4)
1.一种基于事件引导的图像去模糊方法，其特征在于，具体包括如下步骤：
S1：获取事件相机的去模糊数据集，所述去模糊数据集由模糊图像、GT图像和事件流构成；
所述步骤S1具体包括如下步骤：
S11：将在Gopro数据集中选取的来自270个视频的清晰图片序列作为待测数据集，所述待测数据集的分辨率为1280*720；
S12：利用事件相机模拟器的帧插值算法对所述待测数据集进行处理，使所述待测数据集的帧速率提升为360fps，获得GT图像；
S13：对所述GT图像所包含的图片依次进行灰度和双三次插值的下采样操作，使所述GT图像所包含图片的分辨率均调整为240*180；
S14：利用所述事件相机模拟器生成与所述GT图像相对应的事件流；
S15：将调整后的GT图像所包含的每个视频中的每13张连续视频帧均划分为一组，并对每组连续帧进行平均，获得占空比t=13/15的模糊图像；
S2：采用事件时空体素网格表示法对所述事件流进行处理，获得事件体素；
S3：构建基于事件引导的去模糊网络，所述基于事件引导的去模糊网络包括特征提取网络和去模糊主干网络；
S4：构建暗通道损失函数，所述暗通道损失函数与L1损失函数构成总损失函数，利用所述总损失函数和所述GT图像对所述基于事件引导的去模糊网络进行训练，获得训练好的基于事件引导的去模糊网络；
所述总损失函数：
（1）；
（2）；
（3）；
其中，λ为平衡参数，为L1损失函数，/>为暗通道损失函数，/>为所述GT图像对应的暗通道图像，/>为去模糊后的清晰图像对应的暗通道图像，L(gt)为所述GT图像，L（pred）为去模糊后的清晰图像；
S5：将所述模糊图像和所述事件体素输入至训练好的基于事件引导的去模糊网络进行特征提取和特征融合，获得去模糊后的清晰图像；
所述特征提取网络包括1*1卷积层、3*3卷积层、Relu激活层和通道注意力模块，其中，将所述模糊图像输入至所述1*1卷积层进行特征映射的提取，获得特征图像A1，将所述事件体素输入至所述1*1卷积层进行特征映射的提取，获得特征图像B1，所述特征图像B1经所述3*3卷积层进行两次卷积及相应的Relu激活操作，对应获得特征图像B2，将所述事件体素还输入至所述1*1卷积层进行卷积操作，获得特征图像B3，将所述特征图像B2和所述特征图像B3相加，获得特征图像B4，将所述特征图像A1和所述特征图像B4相乘后输入至所述通道注意力模块进行处理，获得特征图像C；
所述去模糊主干网络包括编码器、解码器和1*1卷积层，其中，所述特征图像C依次输入至跳跃连接的所述编码器和所述解码器进行编码和解码，获得特征图像D，所述特征图像D1经所述1*1卷积层进行卷积操作，获得去模糊后的清晰图像。
2.根据权利要求1所述的基于事件引导的图像去模糊方法，其特征在于，所述通道注意力模块包括池化层、3*3卷积层、Relu激活层和Sigmoid激活层，输入至所述通道注意力模块的特征图像C1经所述池化层进行池化操作，获得特征图像C2，所述特征图像C2经所述3*3卷积层进行卷积及相应的Relu激活操作，获得特征图像C3，所述特征图像C3经所述3*3卷积层进行卷积及相应的Sigmoid激活操作，获得特征图像C4，将所述特征图像C4与所述特征图像C1相乘，获得特征图像C。
3.根据权利要求1所述的基于事件引导的图像去模糊方法，其特征在于，所述编码器包括四层编码层，且每一层编码层均包括5*5卷积层、残差块和Relu激活层，输入至所述编码层的特征图像D1经所述5*5卷积层进行卷积操作，获得特征图像D2，所述特征图像D2经所述残差块进行三次残差及相应的Relu激活操作，获得特征图像D3；
所述解码器包括四层解码层，且每一层解码层均包括5*5反卷积层、残差块和Relu激活层，输入至所述解码层的特征图像E1经所述5*5反卷积层进行反卷积操作，获得特征图像E2，所述特征图像E2经所述残差块进行三次残差及相应的Relu激活操作，获得特征图像E3。
4.根据权利要求3所述的基于事件引导的图像去模糊方法，其特征在于，所述残差块包括3*3卷积层和Relu激活层，输入至所述残差块的特征图像F1经所述3*3卷积层进行卷积及相应的Relu激活操作，获得特征图像F2，所述特征图像F2经所述3*3卷积层进行卷积操作后，获得所述残差块的输出特征图像F3。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410172051.6A CN117726549B (zh) | 2024-02-07 | 2024-02-07 | 基于事件引导的图像去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410172051.6A CN117726549B (zh) | 2024-02-07 | 2024-02-07 | 基于事件引导的图像去模糊方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117726549A CN117726549A (zh) | 2024-03-19 |
| CN117726549B true CN117726549B (zh) | 2024-04-30 |
Family
ID=90207256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410172051.6A Active CN117726549B (zh) | 2024-02-07 | 2024-02-07 | 基于事件引导的图像去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117726549B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111316316A (zh) * | 2019-04-10 | 2020-06-19 | 深圳市大疆创新科技有限公司 | 用于图像复原的神经网络及其训练与使用方法 |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
| CN113066028A (zh) * | 2021-03-31 | 2021-07-02 | 山东师范大学 | 一种基于Transformer深度神经网络的图像去雾方法 |
| CN115239581A (zh) * | 2022-06-30 | 2022-10-25 | 华为技术有限公司 | 一种图像处理方法及相关装置 |
| WO2023025185A1 (en) * | 2021-08-24 | 2023-03-02 | The University Of Hong Kong | Event-based auto-exposure for digital photography |
| CN116456183A (zh) * | 2023-04-20 | 2023-07-18 | 北京大学 | 一种事件相机引导下的高动态范围视频生成方法及系统 |
| CN116596794A (zh) * | 2023-05-26 | 2023-08-15 | 中国科学技术大学 | 一种基于事件相机的联合去运动模糊和视频插帧方法 |
| CN117058043A (zh) * | 2023-09-07 | 2023-11-14 | 大连理工大学 | 一种基于lstm的事件-图像去模糊方法 |
| CN117196948A (zh) * | 2023-09-08 | 2023-12-08 | 中国科学技术大学 | 一种基于事件数据驱动的视频超分辨率方法 |
-
2024
- 2024-02-07 CN CN202410172051.6A patent/CN117726549B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111316316A (zh) * | 2019-04-10 | 2020-06-19 | 深圳市大疆创新科技有限公司 | 用于图像复原的神经网络及其训练与使用方法 |
| CN111709895A (zh) * | 2020-06-17 | 2020-09-25 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
| CN113066028A (zh) * | 2021-03-31 | 2021-07-02 | 山东师范大学 | 一种基于Transformer深度神经网络的图像去雾方法 |
| WO2023025185A1 (en) * | 2021-08-24 | 2023-03-02 | The University Of Hong Kong | Event-based auto-exposure for digital photography |
| CN115239581A (zh) * | 2022-06-30 | 2022-10-25 | 华为技术有限公司 | 一种图像处理方法及相关装置 |
| CN116456183A (zh) * | 2023-04-20 | 2023-07-18 | 北京大学 | 一种事件相机引导下的高动态范围视频生成方法及系统 |
| CN116596794A (zh) * | 2023-05-26 | 2023-08-15 | 中国科学技术大学 | 一种基于事件相机的联合去运动模糊和视频插帧方法 |
| CN117058043A (zh) * | 2023-09-07 | 2023-11-14 | 大连理工大学 | 一种基于lstm的事件-图像去模糊方法 |
| CN117196948A (zh) * | 2023-09-08 | 2023-12-08 | 中国科学技术大学 | 一种基于事件数据驱动的视频超分辨率方法 |
Non-Patent Citations (2)
| Title |
|---|
| Event-Guided Image Super-Resolution Reconstruction;Guangsha Guo et al;《sensors》;20230214;第1-16页 * |
| Generalizing Event-Based Motion Deblurring in Real-World Scenarios;Xiang Zhang et al;《2023 IEEE/CVF International Conference on Computer Vision (ICCV)》;20231231;第10700-10710页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117726549A (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111667442B (zh) | 一种基于事件相机的高质量高帧率图像重建方法 | |
| WO2021208122A1 (zh) | 基于深度学习的视频盲去噪方法及装置 | |
| Yue et al. | Supervised raw video denoising with a benchmark dataset on dynamic scenes | |
| Liang et al. | Vrt: A video restoration transformer | |
| CN110324664B (zh) | 一种基于神经网络的视频补帧方法及其模型的训练方法 | |
| CN110782399B (zh) | 一种基于多任务cnn的图像去模糊方法 | |
| CN111028150B (zh) | 一种快速时空残差注意力视频超分辨率重建方法 | |
| CN102388402B (zh) | 图像处理装置及图像处理方法 | |
| KR20210114856A (ko) | 딥 컨볼루션 신경망을 이용한 이미지 노이즈 제거 시스템 및 방법 | |
| CN113994366A (zh) | 用于视频超分辨率的多阶段多参考自举 | |
| CN102576454A (zh) | 利用空间图像先验的图像去模糊法 | |
| CN113034413B (zh) | 一种基于多尺度融合残差编解码器的低照度图像增强方法 | |
| CN110490822B (zh) | 图像去运动模糊的方法和装置 | |
| Niu et al. | Blind motion deblurring super-resolution: When dynamic spatio-temporal learning meets static image understanding | |
| CN114463218A (zh) | 一种基于事件数据驱动的视频去模糊方法 | |
| CN112750092A (zh) | 训练数据获取方法、像质增强模型与方法及电子设备 | |
| CN115393227A (zh) | 基于深度学习的微光全彩视频图像自适应增强方法及系统 | |
| CN114841897B (zh) | 基于自适应模糊核估计的深度去模糊方法 | |
| CN115345791A (zh) | 一种基于注意力机制残差网络模型的红外图像去模糊算法 | |
| Shen et al. | Spatial temporal video enhancement using alternating exposures | |
| CN114494050A (zh) | 一种基于事件相机的自监督视频去模糊和图像插帧方法 | |
| CN116389912B (zh) | 脉冲相机融合普通相机重构高帧率高动态范围视频的方法 | |
| CN117726549B (zh) | 基于事件引导的图像去模糊方法 | |
| Shedligeri et al. | A unified framework for compressive video recovery from coded exposure techniques | |
| CN111210390A (zh) | 一种基于Golay序列互补码字集的运动模糊复原方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |