CN112184572B - 一种针对动态视觉传感器事件流的新型去雨方法及系统 - Google Patents

一种针对动态视觉传感器事件流的新型去雨方法及系统 Download PDF

Info

Publication number
CN112184572B
CN112184572B CN202010962946.1A CN202010962946A CN112184572B CN 112184572 B CN112184572 B CN 112184572B CN 202010962946 A CN202010962946 A CN 202010962946A CN 112184572 B CN112184572 B CN 112184572B
Authority
CN
China
Prior art keywords
frame
space
plane
denoising
original frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010962946.1A
Other languages
English (en)
Other versions
CN112184572A (zh
Inventor
黄凯
刘妮
郭叙森
程龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202010962946.1A priority Critical patent/CN112184572B/zh
Publication of CN112184572A publication Critical patent/CN112184572A/zh
Application granted granted Critical
Publication of CN112184572B publication Critical patent/CN112184572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种针对动态视觉传感器事件流的新型去雨方法。创新地提出基于雨水痕迹在时间方向和水平宽度方向上的稀疏性，将传统的H‑W视角转换为W‑T视角，通过这一转换将雨水从错综复杂的背景环境中提取出来，变成在W‑T平面上近似均匀分布的噪声点，大幅降低了去除雨水的难度；使用中值滤波算法清除雨水痕迹，充分利用了图像中的冗余信息，在去噪的同时能最大程度地保持图像的细节特征。中值滤波的本质是把某点的像素值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。W‑T空间内雨水表现为椒盐噪声，中值滤波可以简单高效的滤除这种噪声的同时保护了图像的尖锐边缘。

Description

一种针对动态视觉传感器事件流的新型去雨方法及系统
技术领域
本发明涉及图像恢复、图像去噪技术领域，更具体地，涉及一种针对动态视觉传感器事件流的新型去雨方法及系统。
背景技术
动态视觉传感器，即Dynamic Vision Sensor，是一种基于事件的、应用仿生学概念的特殊传感器。人类因为清晰的视网膜细胞分层和不同视觉通道，具有超高的分辨率、极快的响应速度、强大的并行处理能力，功耗也非常低，能够对场景中的特征信息进行提取，而不是单纯的如同普通传统传感器一样对光照强度进行绝对的数值化呈现。
去雨技术的需求来自户外视觉探测系统所遇到的问题，目前，户外视觉探测系统被广泛应用在物体检测、数据收集以及监控等方面，但是很容易被多种恶劣天气条件所影响，其中包括雨水天气。在雨水天气条件下，高速下落的雨滴会不可避免地在获取的图片中造成动态痕迹，同时，这些雨痕有可能会变形并干扰附近区域。关于去雨问题的研究已经有很多，最早的相关算法利用雨滴在辐射通量密度限制条件下的动态运动来从视频画面中去除雨痕，从此开始，研究人员提出了许多去雨方法，通过利用雨痕在光照表现下的先验值、频域，重复和稀疏的局部模式、时间关联性、联合空间和小波域特征、空间分辨性等特征，从许多不同的角度实现雨痕去除这一目标。但是，目前的去雨技术绝大部分是针对传统照相机所拍摄的照片或视频而设计的，并不适用于DVS所拍摄的视频或图片；同时，针对DVS动态视觉传感器的去雨技术仍处于几乎空白的状态，而动态视觉传感器在视觉探测领域中的应用越来越广泛，也因此，研究针对动态视觉传感器的去雨算法具有非常重要的意义和使用价值。
专利CN106056544A，公开日为2016.10.26；公开了一种视频图像雨滴去除方法及系统，该发明可以有效地建立视频雨条纹噪声模型,提高视频图像去雨的清晰度，但是，该发明的多尺度混合模型是基于传统RGB视频图像的尺度进行处理，并不适用于DVS动态视觉传感器所生成的事件流视频图像。绝大部分现有的去雨算法都是基于传统照相机生成的RGB图像或视频，且都是在高度-宽度(H-W)两个维度对图片进行处理；而DVS动态视觉传感器则是监控每个像素的光照强度变化，当超过设定的阈值时就输出脉冲信号(事件)，因此DVS的输出是一个二值图，传统的去雨算法无法对DVS产生的事件流视频在高度-宽度(H-W)两个维度进行处理。
发明内容
本发明为克服上述现有技术中的至少一个缺陷，提供一种针对动态视觉传感器事件流的新型去雨方法及系统，在宽度-时间(W-T)空间对图像进行去雨操作，非常适用于去除均匀分布的噪声点，且算法时间复杂度较低，去噪效果好，避免了传统算法对于单张图像过于复杂的操作处理。
为解决上述技术问题，本发明采用的技术方案是：一种针对动态视觉传感器事件流的新型去雨方法，基于雨痕分布在时间方向和水平宽度方向上的稀疏性与不连续性，提出在宽度-时间即W-T空间对图像进行去雨操作，对图像的高度进行逐像素操作，即对于每一个高度值，检查其对应的W-T平面；具体包括以下步骤：
S1.创建缓冲队列：创建一个存储DVS视频流的、深度为d的先入先出缓存队列Q(h×w×d)；当有新的事件帧/视频帧进入Q时，如果Q中已经存在d帧，则将其中最早进入的帧移出；
S2.处理Q中的原始帧I1，对其去噪，得到原始帧I1对应的去雨后的帧
Figure GDA0004043608350000024
S3.基于原始帧I1修复其去噪结果
Figure GDA0004043608350000023
S4.输出流中推入结果
Figure GDA0004043608350000022
S5.继续循环处理队列Q：从Q中弹出原始帧I1，Q中不为空时回到步骤S2，Q中为空时等待输入；
其中，DVS输出的事件流
Figure GDA0004043608350000027
本质上是一系列H-W空间内二值图像的组合[I1,I2,…,It]，/>
Figure GDA0004043608350000026
是一个二维张量，为H-W平面的切片；三维张量/>
Figure GDA0004043608350000025
h为事件帧/视频帧的高；w为事件帧/视频帧的宽；Q为待去雨的图片的队列空间；/>
Figure GDA0004043608350000021
为H-W平面的Ii对应的去噪结果；/>
Figure GDA0004043608350000028
Figure GDA0004043608350000031
为H-W平面的/>
Figure GDA0004043608350000032
对应的边缘损失修复结果。
在其中一个实施例中，所述的步骤S2具体包括：
S21.备份：复制Q中的原始帧I1；
S22.空间域转换：将缓存队列Q(h×w×d)中的所有帧I转换至W-T空间中，转换后变为h个大小为w×d的图像
Figure GDA0004043608350000033
S23.基于中值滤波对W-T空间中图像
Figure GDA0004043608350000034
逐帧去噪；
S24.空间域逆转换：将去噪后得到的h个
Figure GDA0004043608350000035
从W-T空间逆转换回高度-宽度即H-W空间，得到原始帧I1对应的去雨后的帧/>
Figure GDA0004043608350000036
其中，
Figure GDA0004043608350000037
为W-T平面的切片；/>
Figure GDA0004043608350000038
为W-T平面的/>
Figure GDA0004043608350000039
对应的去噪结果。
在其中一个实施例中，所述的中值滤波是通过搜索窗口中的中间像素值来替换掉目标像素值。
在其中一个实施例中，所述的步骤S23具体包括：
S231.将W-T平面中的未去雨帧
Figure GDA00040436083500000310
逐帧进行中值滤波得到结果/>
Figure GDA00040436083500000311
通过搜索窗口中的中间像素值来替换掉目标像素值；
S232.将中值滤波结果
Figure GDA00040436083500000312
进行阈值滤波，得到/>
Figure GDA00040436083500000313
S233.将
Figure GDA00040436083500000314
和/>
Figure GDA00040436083500000315
逐元素相乘，得到对应的/>
Figure GDA00040436083500000316
其中，
Figure GDA00040436083500000317
W-T平面的/>
Figure GDA00040436083500000318
对应的中值滤波结果；/>
Figure GDA00040436083500000319
W-T平面的/>
Figure GDA00040436083500000320
的阈值滤波结果。
在其中一个实施例中，所述的S3步骤中利用备份的原始帧I1对
Figure GDA00040436083500000321
进一步进行图像复原以恢复在步骤S23中擦除的有效信息和边缘信息。
在其中一个实施例中，所述的步骤S3具体包括：
S31.像素p在图片中的位置是I(hp,wp)，在定义的窗口(大小为2r+1)中的邻域像素为：
H(p,r)＝q(hq,wq)|hq∈[hp-r,hp+r],wq＝wp}；
S32.如果像素p的H(p,r)中存在一个像素在
Figure GDA0004043608350000041
中是正的，那么根据原始帧恢复像素p：
Figure GDA0004043608350000042
本发明还提供一种针对动态视觉传感器事件流的新型去雨系统，基于雨痕分布在时间方向和水平宽度方向上的稀疏性与不连续性，提出在宽度-时间即W-T空间对图像进行去雨操作，对图像的高度进行逐像素操作，即对于每一个高度值，检查其对应的W-T平面；其中，包括缓存队列创建模块、原始帧I1处理及去噪模块、原始帧I1修复模块；
所述的缓存队列创建模块用于创建一个存储DVS视频流的、深度为d的先入先出缓存队列Q(h×w×d)；当有新的事件帧/视频帧进入Q时，如果Q中已经存在d帧，则将其中最早进入的帧移出；
所述的原始帧I1处理及去噪模块用于处理Q中的原始帧I1，对其去噪，得到原始帧I1对应的去雨后的帧
Figure GDA0004043608350000043
所述的原始帧I1修复模块用于基于原始帧I1修复其去噪结果
Figure GDA0004043608350000044
其中，DVS输出的事件流
Figure GDA0004043608350000045
本质上是一系列H-W空间内二值图像的组合[I1,I2,…,It]，/>
Figure GDA0004043608350000046
是一个二维张量，为H-W平面的切片；三维张量/>
Figure GDA0004043608350000047
h为事件帧/视频帧的高；w为事件帧/视频帧的宽；Q为待去雨的图片的队列空间；/>
Figure GDA0004043608350000048
为H-W平面的Ii对应的去噪结果；/>
Figure GDA0004043608350000049
Figure GDA00040436083500000410
为H-W平面的/>
Figure GDA00040436083500000411
对应的边缘损失修复结果。
在其中一个实施例中，所述的原始帧I1处理及去噪模块包括备份单元、空间域转换单元、中值滤波去噪单元以及空间域逆转换单元；
所述的备份单元用于复制Q中的原始帧I1；
所述的空间域转换单元用于将缓存队列Q(h×w×d)中的所有帧I转换至W-T空间中，转换后变为h个大小为w×d的图像
Figure GDA00040436083500000412
所述的中值滤波去噪单元用于基于中值滤波对W-T空间中图像
Figure GDA00040436083500000413
逐帧去噪；
所述的空间域逆转换单元用于将去噪后得到的h个
Figure GDA00040436083500000414
从W-T空间逆转换回高度-宽度即H-W空间，得到原始帧I1对应的去雨后的帧/>
Figure GDA00040436083500000415
其中，
Figure GDA0004043608350000051
为W-T平面的切片；/>
Figure GDA0004043608350000052
为W-T平面的/>
Figure GDA0004043608350000053
对应的去噪结果。
在其中一个实施例中，所述的中值滤波去噪单元具体处理步骤包括：
首先，将W-T平面中的未去雨帧
Figure GDA0004043608350000054
逐帧进行中值滤波得到结果/>
Figure GDA0004043608350000055
通过搜索窗口中的中间像素值来替换掉目标像素值；/>
然后，将中值滤波结果
Figure GDA0004043608350000056
进行阈值滤波，得到/>
Figure GDA0004043608350000057
最后，将
Figure GDA0004043608350000058
和/>
Figure GDA0004043608350000059
逐元素相乘，得到对应的/>
Figure GDA00040436083500000510
其中，
Figure GDA00040436083500000511
为W-T平面的/>
Figure GDA00040436083500000512
对应的中值滤波结果；/>
Figure GDA00040436083500000513
为W-T平面的/>
Figure GDA00040436083500000514
的阈值滤波结果。
在其中一个实施例中，所述的原始帧I1修复模块利用备份的原始帧I1对
Figure GDA00040436083500000515
进一步进行图像复原以恢复在中值滤波去噪单元中擦除的有效信息和边缘信息，其中，像素p在图片中的位置是I(hp,wp)，在定义的窗口(大小为2r+1)中的邻域像素为：
H(p,r)＝q(hq,wq)|hq∈[hp-r,hp+r],wq＝wp}；
如果像素p的H(p,r)中存在一个像素在
Figure GDA00040436083500000516
中是正的，那么根据原始帧恢复像素p：
Figure GDA00040436083500000517
与现有技术相比，有益效果是：
1.创新地提出基于雨水痕迹在时间方向和水平宽度方向上的稀疏性，将传统的高度-宽度(H-W)视角转换为宽度-时间(W-T)视角，通过这一转换将雨水从错综复杂的背景环境中提取出来，变成在W-T平面上近似均匀分布的噪声点，大幅降低了去除雨水的难度；
2.使用中值滤波算法清除雨水痕迹，充分利用了图像中的冗余信息，在去噪的同时能最大程度地保持图像的细节特征。中值滤波的本质是把某点的像素值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。W-T空间内雨水表现为椒盐噪声，中值滤波可以简单高效的滤除这种噪声的同时保护了图像的尖锐边缘；
3.本方法能够结合DVS拍摄的原始图像与去除雨痕之后的图像，通过与邻域像素点的对比，恢复去噪时误删的物体的边缘细节像素点，增强去噪的准确性，将运动中的物体更精确地从背景中提取出来；
综上所述，本方法针对DVS动态视觉传感器的事件流，以一个全新的角度解决雨水去除问题，算法操作简单，时间消耗低，雨水去除效果显著，具有重要的实践意义和价值。
附图说明
图1是本发明方法流程图。
图2是本发明空间域转换示意图，将三维视频数据由以时间轴逐帧读取高度-宽度(H-W)平面的图像转为以高度轴逐层读取宽度-时间(W-T)平面的图像。
图3是本发明DVS视频流的空间域转换示意图，可以观察到在宽度-时间(W-T)平面中运动物体的移动轨迹是连续的曲线，而雨水及噪点在在宽度-时间(W-T)平面。
具体实施方式
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。
实施例1：
本实施例针对传统照相机的缺点，使用DVS动态视觉传感器采用新型的仿生原理图像传感器芯片，全时全速追踪运动物体，有效过滤冗余背景信息，雨滴痕迹的稀疏性在DVS中体现的更为明显，也因此更容易区分；同时输出运动物体的结构化场景信息，实现感知端预处理，减轻后端信号处理算法的复杂度，并使用消耗更少计算资源的处理器来实现实时处理能力。
针对传统去雨算法时间复杂度较高、稳定性与泛化性不足等问题，本发明基于雨痕分布在时间方向和水平宽度方向上的稀疏性与不连续性，即：由于雨滴下落方向接近竖直，且水平方向分布较为稀疏(水平稀疏性)，而同一个像素点在不同时刻连续存在雨痕的概率非常小，几乎可以忽略不计(时间稀疏性)，从而创新性地提出在宽度-时间(W-T)空间对图像进行去雨操作。
如图2(a)所示，在通常情况下我们对图片进行逐帧操作，即按照固定的时间间隔对每一帧图像进行操作；如图2(b)所示，在全新的宽度-时间(W-T)空间中，我们对图像的高度进行逐像素操作，即对于每一个高度值，检查其对应的W-T平面。
在这个全新的W-T平面上，由于雨水在时间和水平宽度两个维度方向上的稀疏性与不连续性，所产生的图像中的雨水将会是均匀分布的、十分容易去除的噪声点，避免了像传统方法一样直接在原始像素图片中进行操作，需要面对极其复杂的处理环境；其次，在DVS输出的事件流中只会提取运动物体的信息，而不会有静态背景的信息，避免了将雨痕与背景图像的分析比较，增强了方法的稳定性和泛化性；最后，本发明所使用的去雨算法非常适用于去除均匀分布的噪声点，且算法时间复杂度较低，去噪效果好，避免了传统算法对于单张图像过于复杂的操作处理。
DVS输出的事件流的相关符号定义：
Figure GDA0004043608350000071
Figure GDA0004043608350000081
DVS输出的事件流
Figure GDA0004043608350000082
本质上是一系列H-W空间内二值图像的组合[I1,I2,…,It]，
Figure GDA0004043608350000083
是一个二维张量，/>
Figure GDA0004043608350000084
是三维张量，/>
Figure GDA0004043608350000085
为无噪声的事件流，/>
Figure GDA0004043608350000086
为雨水/滴噪声，/>
Figure GDA0004043608350000087
为噪声，本发明的目的为从DVS事件流/>
Figure GDA0004043608350000088
中提取并去除掉雨滴/水噪声/>
Figure GDA0004043608350000089
如图1所示，具体包括以下步骤：
步骤1.创建缓冲队列
创建一个存储DVS视频流的、深度为d的先入先出(FIFO)缓存队列Q(h×w×d)；当有新的事件帧/视频帧进入Q时，如果Q中已经存在d帧，则将其中最早进入的帧移出。
步骤2.处理Q中的原始帧I1，对其去噪
S21.备份：复制Q中的原始帧I1；
S22.空间域转换：如图3所示，将缓存队列Q(h×w×d)中的所有帧I转换至W-T空间中，转换后变为h个大小为w×d的图像
Figure GDA00040436083500000810
S23.基于中值滤波对W-T空间中图像
Figure GDA00040436083500000811
逐帧去噪；在W-T空间中，雨滴/水近似为均匀噪声，而视频中其他的运动物体在W-T平面上表现为一些与水平面上运动轨迹相关的曲线。因此本发明基于中值滤波对W-T空间中h个大小为w×d的图像/>
Figure GDA00040436083500000812
去除雨水噪声(Algorithm 1)，中值滤波是通过搜索窗口中的中间像素值来替换掉目标像素值；/>
Algorithm 1W-T空间的去雨算法
Input:Source image
Figure GDA00040436083500000813
Output:Denoised image
Figure GDA00040436083500000814
1:get
Figure GDA00040436083500000815
by applying Median Filter
2:get
Figure GDA00040436083500000816
by performing thresholding operation on/>
Figure GDA00040436083500000817
3:
Figure GDA00040436083500000818
←element-wise multiplication of/>
Figure GDA00040436083500000819
and/>
Figure GDA00040436083500000820
1.将W-T平面中的未去雨帧
Figure GDA00040436083500000821
逐帧进行中值滤波得到结果/>
Figure GDA00040436083500000822
通过搜索窗口中的中间像素值来替换掉目标像素值；
2.将中值滤波结果
Figure GDA0004043608350000091
进行阈值滤波，得到/>
Figure GDA0004043608350000092
3.将
Figure GDA0004043608350000093
和/>
Figure GDA0004043608350000094
逐元素相乘，得到对应的/>
Figure GDA0004043608350000095
S24.空间域逆转换：将去噪后得到的h个
Figure GDA0004043608350000096
从W-T空间逆转换回高度-宽度即H-W空间，得到原始帧I1对应的去雨后的帧/>
Figure GDA0004043608350000097
步骤3.基于原始帧I1修复其去噪结果
Figure GDA0004043608350000098
利用备份的原始帧I1对
Figure GDA0004043608350000099
进一步进行图像复原以恢复在Algorithm 1中擦除的有效信息和边缘信息；
首先，像素p在图片中的位置是I(hp,wp)，在定义的窗口(大小为2r+1)中的邻域像素为：
H(p,r)＝{q(hq,wq)|hq∈[hp-r,hp+r],wq＝wp}
如果像素p的H(p,r)中存在一个像素在
Figure GDA00040436083500000910
中是正的，那么根据原始帧恢复像素p：
Figure GDA00040436083500000911
步骤4.输出流中推入结果
Figure GDA00040436083500000912
步骤5.继续循环处理队列Q
从Q中弹出原始帧I1，Q中不为空时回到步骤S2，Q中为空时等待输入；
基于此，本发明可以在尽可能保留边缘和有用信息的前提下，简单高效地去除DVS事件流中的雨水噪声。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种针对动态视觉传感器事件流的新型去雨方法，其特征在于，基于雨痕分布在时间方向和水平宽度方向上的稀疏性与不连续性，提出在宽度-时间即W-T空间对图像进行去雨操作，对图像的高度进行逐像素操作，即对于每一个高度值，检查其对应的W-T平面；具体包括以下步骤：
S1.创建缓冲队列：创建一个存储DVS视频流的、深度为d的先入先出缓存队列Q，大小为h×w×d；当有新的事件帧/视频帧进入Q时，如果Q中已经存在d帧，则将其中最早进入的帧移出；
S2.处理Q中的原始帧I1，对其去噪，得到原始帧I1对应的去雨后的帧
Figure FDA0004043608340000011
具体包括：
S21.备份：复制Q中的原始帧I1；
S22.空间域转换：将缓存队列Q中的所有帧I转换至W-T空间中，转换后变为h个大小为w×d的图像
Figure FDA0004043608340000012
S23.基于中值滤波对W-T空间中图像
Figure FDA0004043608340000013
逐帧去噪；将W-T平面中的未去雨帧
Figure FDA0004043608340000014
逐帧进行中值滤波得到结果/>
Figure FDA0004043608340000015
通过搜索窗口中的中间像素值来替换掉目标像素值；将中值滤波结果/>
Figure FDA0004043608340000016
进行阈值滤波，得到/>
Figure FDA0004043608340000017
将/>
Figure FDA0004043608340000018
和/>
Figure FDA0004043608340000019
逐元素相乘，得到对应的/>
Figure FDA00040436083400000110
其中，/>
Figure FDA00040436083400000111
为W-T平面的/>
Figure FDA00040436083400000112
对应的中值滤波结果；/>
Figure FDA00040436083400000113
为W-T平面的/>
Figure FDA00040436083400000114
的阈值滤波结果；
S24.空间域逆转换：将去噪后得到的h个
Figure FDA00040436083400000115
从W-T空间逆转换回高度-宽度即H-W空间，得到原始帧I1对应的去雨后的帧/>
Figure FDA00040436083400000116
其中，/>
Figure FDA00040436083400000117
为W-T平面的切片；
Figure FDA00040436083400000118
为W-T平面的/>
Figure FDA00040436083400000119
对应的去噪结果；
S3.基于原始帧I1修复其去噪结果
Figure FDA00040436083400000120
S4.输出流中推入结果
Figure FDA00040436083400000121
S5.继续循环处理队列Q：从Q中弹出原始帧I1，Q中不为空时回到步骤S2，Q中为空时等待输入；
其中，DVS输出的事件流
Figure FDA00040436083400000122
本质上是一系列H-W空间内二值图像的组合[I1，I2，...，It]，
Figure FDA0004043608340000021
是一个二维张量，为H-W平面的切片；三维张量/>
Figure FDA0004043608340000022
h为事件帧/视频帧的高；w为事件帧/视频帧的宽；Q为待去雨的图片的队列空间；/>
Figure FDA0004043608340000023
为H-W平面的Ii对应的去噪结果；/>
Figure FDA0004043608340000024
为H-W平面的/>
Figure FDA0004043608340000025
对应的边缘损失修复结果。
2.根据权利要求1所述的针对动态视觉传感器事件流的新型去雨方法，其特征在于，所述的中值滤波是通过搜索窗口中的中间像素值来替换掉目标像素值。
3.根据权利要求1所述的针对动态视觉传感器事件流的新型去雨方法，其特征在于，所述的S3步骤中利用备份的原始帧I1对
Figure FDA0004043608340000026
进行图像复原以恢复在步骤S23中擦除的有效信息和边缘信息。
4.根据权利要求1所述的针对动态视觉传感器事件流的新型去雨方法，其特征在于，所述的步骤S3具体包括：
S31.像素p在图片中的位置是I(hp，wp)，在定义的窗口，大小为2r+1中的邻域像素为：
H(p，r)＝{q(hq，wq)|hq∈[hp-r，hp+r]，wq＝wp}；
S32.如果像素p的H(p，r)中存在一个像素在
Figure FDA0004043608340000027
中是正的，那么根据原始帧恢复像素p：
Figure FDA0004043608340000028
5.一种针对动态视觉传感器事件流的新型去雨系统，其特征在于，基于雨痕分布在时间方向和水平宽度方向上的稀疏性与不连续性，提出在宽度-时间即W-T空间对图像进行去雨操作，对图像的高度进行逐像素操作，即对于每一个高度值，检查其对应的W-T平面；其中，包括缓存队列创建模块、原始帧I1处理及去噪模块、原始帧I1修复模块；
所述的缓存队列创建模块用于创建一个存储DVS视频流的、深度为d的先入先出缓存队列Q，大小为h×w×d；当有新的事件帧/视频帧进入Q时，如果Q中已经存在d帧，则将其中最早进入的帧移出；
所述的原始帧I1处理及去噪模块用于处理Q中的原始帧I1，对其去噪，得到原始帧I1对应的去雨后的帧
Figure FDA0004043608340000029
所述的原始帧I1修复模块用于基于原始帧I1修复其去噪结果
Figure FDA00040436083400000210
其中，所述的原始帧I1处理及去噪模块包括备份单元、空间域转换单元、中值滤波去噪单元以及空间域逆转换单元；
所述的备份单元用于复制Q中的原始帧I1；
所述的空间域转换单元用于将缓存队列Q中的所有帧I转换至W-T空间中，转换后变为h个大小为w×d的图像
Figure FDA0004043608340000031
所述的中值滤波去噪单元用于基于中值滤波对W-T空间中图像
Figure FDA0004043608340000032
逐帧去噪；
所述的空间域逆转换单元用于将去噪后得到的h个
Figure FDA0004043608340000033
从W-T空间逆转换回高度-宽度即H-W空间，得到原始帧I1对应的去雨后的帧/>
Figure FDA0004043608340000034
其中，
Figure FDA0004043608340000035
为W-T平面的切片；/>
Figure FDA0004043608340000036
为W-T平面的/>
Figure FDA0004043608340000037
对应的去噪结果；
所述的中值滤波去噪单元具体处理步骤包括：
首先，将W-T平面中的未去雨帧
Figure FDA0004043608340000038
逐帧进行中值滤波得到结果/>
Figure FDA0004043608340000039
通过搜索窗口中的中间像素值来替换掉目标像素值；然后，将中值滤波结果/>
Figure FDA00040436083400000310
进行阈值滤波，得到/>
Figure FDA00040436083400000311
最后，将/>
Figure FDA00040436083400000312
和/>
Figure FDA00040436083400000313
逐元素相乘，得到对应的/>
Figure FDA00040436083400000314
基于原始帧I1修复其去噪结果
Figure FDA00040436083400000315
输出流中推入结果/>
Figure FDA00040436083400000316
继续循环处理队列Q：从Q中弹出原始帧I1，Q中不为空时回到原始帧I1处理及去噪模块，Q中为空时等待输入；
其中，
Figure FDA00040436083400000317
为W-T平面的/>
Figure FDA00040436083400000318
对应的中值滤波结果；/>
Figure FDA00040436083400000319
为W-T平面的
Figure FDA00040436083400000320
的阈值滤波结果；
其中，DVS输出的事件流
Figure FDA00040436083400000321
本质上是一系列H-W空间内二值图像的组合[I1，I2，...，It]，
Figure FDA00040436083400000322
是一个二维张量，为H-W平面的切片；三维张量/>
Figure FDA00040436083400000323
h为事件帧/视频帧的高；w为事件帧/视频帧的宽；Q为待去雨的图片的队列空间；/>
Figure FDA00040436083400000324
为H-W平面的Ii对应的去噪结果；/>
Figure FDA00040436083400000325
为H-W平面的/>
Figure FDA00040436083400000326
对应的边缘损失修复结果。/>
6.根据权利要求5所述的针对动态视觉传感器事件流的新型去雨系统，其特征在于，所述的原始帧I1修复模块利用备份的原始帧I1对
Figure FDA00040436083400000327
进行图像复原以恢复在中值滤波去噪单元中擦除的有效信息和边缘信息，其中，像素p在图片中的位置是I(hp，wp)，在定义的窗口，大小为2r+1中的邻域像素为：
H(p，r)＝{q(hq，wq)|hq∈[hp-r，hp+r]，wq＝wp}；
如果像素p的H(p，r)中存在一个像素在
Figure FDA0004043608340000041
中是正的，那么根据原始帧恢复像素p：
Figure FDA0004043608340000042
/>
CN202010962946.1A 2020-09-14 2020-09-14 一种针对动态视觉传感器事件流的新型去雨方法及系统 Active CN112184572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010962946.1A CN112184572B (zh) 2020-09-14 2020-09-14 一种针对动态视觉传感器事件流的新型去雨方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010962946.1A CN112184572B (zh) 2020-09-14 2020-09-14 一种针对动态视觉传感器事件流的新型去雨方法及系统

Publications (2)

Publication Number Publication Date
CN112184572A CN112184572A (zh) 2021-01-05
CN112184572B true CN112184572B (zh) 2023-03-28

Family

ID=73920779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010962946.1A Active CN112184572B (zh) 2020-09-14 2020-09-14 一种针对动态视觉传感器事件流的新型去雨方法及系统

Country Status (1)

Country Link
CN (1) CN112184572B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269683B (zh) * 2021-04-22 2023-04-18 天津(滨海)人工智能军民融合创新中心 一种基于自适应阈值的局部时空事件流滤波方法与系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942766A (zh) * 2014-04-03 2014-07-23 天津大学 一种基于时-空-频三域联合处理的雨天视频复原方法
CN105046653A (zh) * 2015-06-12 2015-11-11 中国科学院深圳先进技术研究院 一种视频雨滴去除方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9165352B2 (en) * 2013-06-10 2015-10-20 Xerox Corporation Precipitation removal for vision-based parking management systems
CN108520501B (zh) * 2018-03-30 2020-10-27 西安交通大学 一种基于多尺度卷积稀疏编码的视频去雨雪方法
CN109815876B (zh) * 2019-01-17 2021-01-05 西安电子科技大学 基于地址事件流特征的手势识别方法
CN110246102B (zh) * 2019-06-13 2022-05-31 中国人民解放军陆军炮兵防空兵学院 一种雨天视频清晰处理方法
US20200005468A1 (en) * 2019-09-09 2020-01-02 Intel Corporation Method and system of event-driven object segmentation for image processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942766A (zh) * 2014-04-03 2014-07-23 天津大学 一种基于时-空-频三域联合处理的雨天视频复原方法
CN105046653A (zh) * 2015-06-12 2015-11-11 中国科学院深圳先进技术研究院 一种视频雨滴去除方法及系统

Also Published As

Publication number Publication date
CN112184572A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
Hsu et al. Single image dehazing using wavelet-based haze-lines and denoising
Schnelle et al. Enhanced target tracking through infrared-visible image fusion
CN112215074A (zh) 基于无人机视觉的实时目标识别与检测追踪系统及方法
Yan et al. Method to Enhance Degraded Image in Dust Environment.
Hiraiwa et al. An FPGA based embedded vision system for real-time motion segmentation
CN112184572B (zh) 一种针对动态视觉传感器事件流的新型去雨方法及系统
Kuo et al. VLSI implementation for an adaptive haze removal method
Aponso et al. Review on state of art image enhancement and restoration methods for a vision based driver assistance system with De-weathering
CN116363535A (zh) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
WO2023042337A1 (ja) 画像処理システム
Antic et al. Efficient wavelet based detection of moving objects
Gupta et al. Reconnoitering the Essentials of Image and Video Processing: A Comprehensive Overview
Ma et al. Video image clarity algorithm research of USV visual system under the sea fog
Bhatnagar et al. Navigation and surveillance using night vision and image fusion
Fang et al. Detail Maintained Low-Light Video Image Enhancement Algorithm
Ullah et al. Real-time video dehazing for industrial image processing
Zhenbo et al. A Survey of Preprocessing Methods for Marine Ship Target Detection Based on Video Surveillance
Xiao et al. Improved dynamic image fusion scheme for infrared and visible sequence based on image fusion system
Hassim et al. Taxonomy of rain detection and rain removal techniques
Cheng Image Defogging Algorithm Based on Deblurgan Network
Bahashwan et al. Rain-streaks Detection and Removal In Single Image Using Curvelet Transform
Yan et al. Research on moving target detection in complex weather
Cheng et al. A Novel Rain Removal Approach for Outdoor Dynamic Vision Sensor Event Videos
Hashim et al. A review on various methods for dehazing images
Qin et al. A summary of research progress of single image to remove rain and fog based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant