CN107610069A

CN107610069A - 基于共享k‑svd字典的dvs可视化视频去噪方法

Info

Publication number: CN107610069A
Application number: CN201710902379.9A
Authority: CN
Inventors: 谢雪梅; 李旺; 杜江; 石光明; 刘碗; 杨建秀
Original assignee: Xidian University; Xian Cetc Xidian University Radar Technology Collaborative Innovation Research Institute Co Ltd
Current assignee: Xidian University; Xian Cetc Xidian University Radar Technology Collaborative Innovation Research Institute Co Ltd
Priority date: 2017-09-29
Filing date: 2017-09-29
Publication date: 2018-01-19
Anticipated expiration: 2037-09-29
Also published as: CN107610069B

Abstract

本发明公开了一种基于共享K‑SVD字典的DVS可视化视频去噪方法,主要解决技术在高帧率下生成的图像物体轮廓不清晰和消耗时间长的问题。其方案是：1.安装动态视频传感器的驱动，捕获事件流并存储；2.将事件流转为轮廓清晰的DVS图像，并进行图像分组；3.通过K‑SVD算法得到每组的第一帧图像的优化字典，并用每组的第一帧图像获得的学习字典对其余所有图像进行去噪处理；4.设置视频帧率和帧数，对经过去噪处理的DVS图像进行转视频处理。本发明不仅在保证高帧率的条件下使得物体具有明显的轮廓等特征，而且能在保留物体结构信息的同时达到很好的去噪效果和较快的去噪速度，可用于DVS开发的图像预处理。

Description

基于共享K-SVD字典的DVS可视化视频去噪方法

技术领域

本发明属于图像处理技术领域，主要涉及DVS可视化视频的去噪，可用于DVS开发的图像预处理。

背景技术

目前，基于帧的传统相机对于运动物体的捕捉有一定的局限性。动态视觉传感器DVS是基于事件的相机，它只关注发生变化的像素，具有无帧、高速、低带宽的特点。这些特点使得DVS在实际应用中有很好的前景。

DVS以事件的形式存储捕获的场景，因此事件可以用来将DVS记录的场景可视化，也就是将事件流转变为一帧帧的DVS可视化图像，进而获得DVS可视化视频。信息缺失和噪声干扰是可视化过程中存在两个问题。目前已经有一种可视化的方法被提出，即将一定时间间隔累积的事件可视化为一帧图像，但高的可视化速度会使动态场景中物体的轮廓细节等信息丢失。由于DVS高灵敏度的特性，在捕获场景的同时，噪声也被捕获并存储为事件，因此DVS视频中会包含大量噪声。目前常用的去噪的方法包括滤波器方法、深度学习方法、学习字典去噪方法等。由于DVS图像中噪声和目标结构相似，滤波器方法会在削弱噪声的同时破坏物体的结构；深度学习方法需要大量的样本对网络进行训练，但目前DVS图像数据集还没有建立。因此这两种方法均不适用于DVS图像去噪。而字典去噪方法可以利用字典只对一幅图像进行处理，不需要大量训练样本；字典学习算法，如K-SVD算法，对初始字典经过若干次的迭代优化，最终获得能够很好的反映物体特征的字典。使用该字典能够在较低的轮廓损失下重构出去噪图像。虽然该方法不需要大量训练样本，也能够较好的保留原图中的物体特征，但由于字典迭代更新的过程较为耗时，难以满足快速去噪的要求。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于共享K-SVD字典的DVS可视化视频去噪方法，以提高去噪的速度，并使去噪后的图像轮廓更加清晰,最终获得高帧率、物体结构信息完整、基本无噪声干扰的DVS视频。

本发明的技术方案是这样实现的：

一，技术原理

本发明借鉴了将一段时间累积的m个事件可视为一张图像的方法，如图2(b)所示，获得一些轮廓不清晰的DVS图像，并通过轮廓不清晰的五张图像叠加成一张图像的方法，将单张图像中的事件数由m增加到5m，如图2(a)所示，在保证高帧率的同时使物体的轮廓更清晰；通过对轮廓清晰的图像分组和对每组第一帧图像应用K-SVD算法更新字典，并字典在其余帧中共享，实现DVS图像的快速去噪；通过对去噪后的DVS图像进行转视频处理，获得DVS视频。

二.实现方案

根据上述原理本发明的实现步骤包括如下：

1)将动态视觉传感器DVS连接到计算机上，记录场景中像素点的位置和像素点变化量，并将其保存为事件流；

2)根据保存的事件流获得物体轮廓更清晰的图像：

2a)对组成事件流的事件按照时间顺序进行划分，即每10000个事件分为一组；根据每一个事件的像素点位置信息在图像中找到相应的位置并将像素变化量作为该位置的像素值，依次将每一组事件可视化为一张图像，得到p张可视化图像，p的取值为事件被分的组数；

2b)从m张可视化图像中取出第1-5张图像，并将这5张图像对应位置的像素进行求和，生成一张轮廓清晰的图像；再用第2-6张图像生成第二张轮廓清晰的图像，按此规律依次生成第三张至第n张图像，n的值由p决定，满足关系n＝p-4；

3)对每一张轮廓清晰的图像进行去噪：

3a)将2b)中获得的n张图像根据第1-100张为第一组、第101-200张为第二组的方式分为q组；在每组第一张图像上以6个像素为间隔取M个10×10图像块，其中M的值由图像尺寸(a×b)、取块间隔(c)、块尺寸(d)决定，满足将每个块都展成向量其中N＝100，并将M个向量按列组合成矩阵Y；

3b)随机生成一个N×K维的非满秩矩阵D作为初始字典，其中K＝100；固定字典D，通过正交匹配追踪OMP算法对每一个向量y_i进行稀疏分解，获得稀疏系数向量并将x_i按列组合形成系数矩阵X；

3c)根据K-SVD算法对3b)的字典D及系数矩阵X更新30次；

3d)根据3c)更新后的字典D和3b)的正交匹配追踪算法获得该组其他图像的系数矩阵X，并获得去噪图像的块向量矩阵Z＝DX；将Z的列向量恢复成块，并根据块的位置关系获得去噪图像；

4)将去噪图像以25帧/秒的帧率转为视频。

本发明与现有技术相比具有以下优点：

1.去噪效果好且速度快。

由于DVS图像中噪声和物体具有相似的结构，现有的滤波方法会在去噪时破坏物体结构、深度学习方法需要大量的训练样本、字典学习去噪方法的字典更新过程较为耗时；本发明能在无训练样本的情况下保证物体结构完整，且达到很好的去噪效果和较快的去噪速度。

2.物体轮廓更清晰。

由于已有事件可视化方法生成的图像中包含的事件数较少，图像中物体的轮廓特征不明显；本发明使用事件重叠的方法生成图像，不仅继承了已有方法高帧率的优点，还使得物体具有更明显的轮廓特征。

附图说明

图1为本发明的实现流程图；

图2为本发明的事件可视化原理与原有方法的对比图；

图3为用本发明及原有方法的产生的动态视觉传感器DVS可视化图像的对比图；

图4为本发明中使用K-SVD算法学习得到的字典；

图5为用本发明对动态视觉传感器DVS可视化图像进行去噪的结果图。

具体实施方式

下面结合附图和实例对本发明进行详细说明。

参照图1，本发明的实现步骤如下：

步骤1，获取动态视觉传感器DVS的事件流。

1a)搭建动态视觉传感器DVS的平台：

1a1)将动态视觉传感器DVS连接到计算机上，打开FPGABoard Driver文件夹中的FrontPanelUSB-DriverOnly-4.5.5.exe文件，按照提示安装动态视觉传感器的驱动程序；

1a2)打开GUI-Release文件夹中的动态视觉传感器测试程序GUI.exe，如果弹出的窗口中能够显示出拍摄场景，说明其能够正常工作；

1a3)在计算机上安装商用Microsoft Visual Studio 2013软件，并配置Opencv3.0；

1b)使用Microsoft Visual Studio 2013打开DVS_record文件夹中DVS_record.sln，将其中DVS-Threads.cpp中的事件存储路径DVS_EVENT_STORE_ROOT修改为R:\\DVS_event；修改后，按F5键运行，根据屏幕提示按任意键，将动态视觉传感器拍摄的场景中像素值变化的像素点的位置和变化量以事件流的形式存储到R:\\DVS_event文件夹，10秒后终止调试，获得Q个事件。

步骤2，根据保存的事件流获得物体轮廓更清晰的图像。

2a)打开Release文件夹中的Event2ImageMFC.exe，将事件目录设为R:\\DVS_event、图像目录设为R:\\DVS_img、每张图像上的事件数设为10000，并点击“给我转！”，从而将R:\\DVS_event文件夹中的事件流转为张轮廓不清晰的图像，如图3(a)所示，并保存至R:\\DVS_img文件夹；

2b)将R:\\DVS_img文件夹中图像的文件名按照顺序写入visualize.txt文件，使用MATLAB R2017a打开Noise-KSVD文件夹中的new_visualize.m，将fopen函数要打开的文件名设置为visualize.txt，并将imwrite函数中文件名修改为Mov\，对第1-5张图像对应位置的像素进行求和，生成一张物体轮廓更清晰的图像，如图3(b)所示，再用第2-6张图像生成第二张轮廓清晰的图像，按此规律依次生成第三张到第n张图像并保存到Mov\文件中，其中生成的图像总数n＝p-4。

步骤3，对每一张轮廓清晰的图像进行去噪。

3a)使用MATLAB R2017a打开Noise-KSVD文件夹中的icvip_train_test.m，将2b)中获得的n张图像根据第1-100张为第一组、第101-200张为第二组、第201-300张为第三组的规律分为q组，将每组第一张图像的文件名按照顺序写入train_list.txt文件，将其余图像的文件名按照顺序写入test_list.txt文件；将fopen函数中的文件名设置为train_list.txt，并将train_list.txt中的每幅图像以6个像素为间隔取块尺寸blocksize＝10的图像块，将每个块都展成向量100维的向量其中N＝100，将y_i按列组合成块向量矩阵Y；

3b)随机生成一个N×K维的非满秩矩阵D作为初始字典，其中K＝100，使用正交匹配追踪OMP算法对每一个向量y_i进行稀疏分解，获得稀疏系数向量

3b1)设噪声标准差sigma＝0.16、增益gain＝1.15、误差上限ε＝blocksize×sigma×gain；设Λ_t表示经过t次迭代后所选字典列的序号集合，初始化t＝0，表示空集；设D_t为Λ_t中列序号对应的字典的列集合，初始化设r_t表示第t次迭代后的残差，初始化r₀＝y_i；

3b2)计算字典每一列与第t-1次迭代的残差r_t-1的内积，并确定使内积绝对值最大的列序号，即第t次迭代所选字典的列的序号：d_j表示字典D的第j列，|<·,·>|表示向量的内积的绝对值；

3b3)对第t次迭代所选的字典列序号ω_t与前t-1次迭代所选的列序号集合Λ_t-1求并集：Λ_t＝Λ_t-1∪{ω_t}，∪表示集合的并运算；对字典的第ω_t列与前t-1次迭代所选的列集合D_t-1求并集：

3b4)计算第t次迭代的系数向量：x＝(D_t ^TD_t)^-1D_t ^Ty_i，其中D_t ^T表示D_t的转置，(·)^-1表示对矩阵求逆；

3b5)对残差向量进行更新：r_t＝y_i-D_tx_t；

3b6)令t＝t+1，当时返回3b2)，否则停止迭代，令x_i中相应于Λ_t的位置为非零项，取值分别与x_t的各元素对应，其他位置赋值为0；

3c)将3b)每个向量y_i的稀疏系数向量x_i依次按列组合形成系数矩阵X；

3d)根据K-SVD算法对3b)的字典D及系数矩阵X更新30次；

3d1)根据字典D和系数矩阵X计算Y不使用d_k进行表示时的误差矩阵：其中，d_k为字典第k列，为系数矩阵X的第k行；调用svds函数对E_k进行奇异值分解：其中S为奇异值矩阵，σ_i为E_k的奇异值，U_i表示左奇异矩阵U的第i列，V^T为右奇异矩阵V的转置，V_i ^T表示V^T的第i行；根据d_k＝U₁对字典的第k列及对应系数向量进行更新；

3d2)对字典的每一列及对应系数向量按照3d1)进行更新；

3d3)设置迭代次数iteration＝30，从而对3d1)和3d2)的更新方法进行30次迭代；

3e)使用3d)更新后的字典D，如图4所示，及正交匹配追踪OMP算法求出test_list.txt文件中的每一张图像的块向量矩阵的系数矩阵X，获得去噪图像的块向量矩阵Z＝DX，将Z的列向量恢复成块，根据块的位置关系重构出去噪图像Y'，并将去噪图像存入D:\Noise-KSVD\output\'文件夹。

步骤4，获得无噪的DVS视频。

4)使用MATLAB R2017a打开Noise-KSVD文件中的generate_video.m，将去噪图像文件路径framesPath2设置为D:\Noise-KSVD\output\'，将视频文件名称videoName设置为R:\compare.avi，并将视频帧率fps设置为25；使用VideoWriter函数创建一个视频写入对象aviobj，调用open函数打开视频对象aviobj，并用writeVideo函数将去噪图像转为视频并写入视频对象aviobj中，DVS视频的一帧图像去噪结果如图5所示，其中图5(a)为去噪前的图像，图5(b)为去噪后的图像。

以上描述仅是本发明的一个具体实例，并未构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims

1.基于共享K-SVD字典的DVS可视化视频去噪方法，包括：

2)根据保存的事件流获得物体轮廓更清晰的图像：

3)对每一张轮廓清晰的图像进行去噪：

3c)根据K-SVD算法对3b)的字典D及系数矩阵X更新30次；

3d)根据3c)更新后的字典D和3b)的正交匹配追踪算法获得该组其他图像的系数矩阵X，并获得去噪图像的块向量矩阵Z＝DX，并将Z的列向量恢复成块，并根据块的位置关系获得去噪图像；

4)将去噪图像以25帧/秒的帧率转为视频。

2.根据权利要求1所述的方法，其中步骤3b)中通过正交匹配追踪OMP算法对每一个向量y_i进行稀疏分解，按如下步骤进行：

3b1)设误差上限ε＝10×sigma×gain，sigma为噪声标准差，gain为增益；设Λ_t表示经过t次迭代后所选字典列的序号集合，初始化t＝0，表示空集；设D_t为Λ_t中列序号对应的字典的列集合，初始化设r_t表示第t次迭代后的残差，初始化r₀＝y_i；

3b2)计算第t次迭代所选字典的列的序号：d_j表示字典D的第j列，|<·,·>|表示向量的内积的绝对值；

3b3)令Λ_t＝Λ_t-1∪{ω_t}，表示字典的第ω_t列，其中∪表示集合的并运算；

3b5)更新残差：r_t＝y_i-D_tx_t；

3b6)令t＝t+1，当时返回3b2)，否则停止迭代，令x_i中相应于Λ_t的位置为非零项，取值分别与x_t的各元素对应，其他位置赋值为0。

3.根据权利要求1所述的方法，其中步骤3c)中根据K-SVD算法对3b)生成的字典D及系数矩阵X更新30次，按如下步骤进行：

3c1)根据3b)中每个向量y_i及其稀疏系数向量x_i计算总稀疏表示误差Error：其中为弗罗贝尼乌斯范数的平方，将Error进一步表示为如下形式：

<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>|</mo> <mo>|</mo> <mi>Y</mi> <mo>-</mo> <mi>D</mi> <mi>X</mi> <mo>|</mo> <mo>|</mo> <mo>=</mo> <mo>|</mo> <mo>|</mo> <mi>Y</mi> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>k</mi> </munderover> <msub> <mi>d</mi> <mi>i</mi> </msub> <msubsup> <mi>x</mi> <mi>T</mi> <mi>i</mi> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mo>|</mo> <mo>|</mo> <mrow> <mo>(</mo> <mi>Y</mi> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <msub> <mi>d</mi> <mi>i</mi> </msub> <msubsup> <mi>x</mi> <mi>T</mi> <mi>i</mi> </msubsup> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>d</mi> <mi>k</mi> </msub> <msubsup> <mi>x</mi> <mi>T</mi> <mi>k</mi> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>E</mi> <mi>k</mi> </msub> <mo>-</mo> <msub> <mi>d</mi> <mi>k</mi> </msub> <msubsup> <mi>x</mi> <mi>T</mi> <mi>k</mi> </msubsup> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>,</mo> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中，d_k为字典第k列，为系数矩阵X的第k行，E_k为Y不使用d_k进行表示时的误差矩阵；对E_k进行奇异值分解：其中S为奇异值矩阵，σ_i为E_k的奇异值，U_i表示左奇异矩阵U的第i列，V^T为右奇异矩阵V的转置，V_i ^T表示V^T的第i行；令d_k＝U₁，实现字典第k列及对应系数向量的更新；

3c2)根据3c1)逐个更新字典的每一列及对应系数向量，直到完成一次字典及系数矩阵的更新；

3c3)对3c1)和3c2)的更新方法进行30次迭代。