CN113645468A - 动态视觉传感器滤波加速控制方法、系统、设备及应用 - Google Patents

Abstract

本发明属于计算机视觉技术领域，公开了一种动态视觉传感器滤波加速控制方法、系统、设备及应用，使用AVS编码标准对动态视觉传感器DVS数据编码，对DCT信号去除高频、保留超低频的方式滤波；将得到的DCT超低频信号进行编码；在解码阶段，得到的DVS数据经过滤波后的DVS数据，达到加速DVS滤波过程。本发明通过DVS编码和加速滤波过程的方法，可以大幅压缩DVS数据并加速DVS数据滤波过程。特别的，使用基于AVS编码标准进行DVS数据DCT编码，并从AVS解码阶段获得滤波后的DVS数据。从而解决旧有方法，因缺乏有效压缩编码和滤波方法，而导致DVS滤波效率不高的问题。

Description

动态视觉传感器滤波加速控制方法、系统、设备及应用

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种动态视觉传感器滤波加速控制方法、系统、设备及应用。特别涉及一种加速动态视觉传感器(Dynamic Vision Sensor,简称DVS)滤波过程的方法，利用AVS帧内压缩编码特性，加速动态识别传感器DVS返回的数据的滤波过程。

背景技术

随着电子产品的普及，大量传感器设备，被应用到日常的生活中。动态视觉传感器(Dynamic Vision Sensor，简称DVS)，类似于摄像头，但和摄像头不同的是，它只能检测运动的物体，返回运动物体的位置和速度信息，没有真实图像信息，以此在特定领域，缩减数据量、保护用户隐私、提高感应速度。使用DVS数据时，需要对其滤波，目前大都采用图像滤波方式，即将DVS数据按照图像格式处理，采用图像滤波方式进行滤波操作。

因为DVS数据是极度稀疏的离散数据，因此使用DCT离散余弦变换的方式进行滤波，可以取得很好的效果。但是，DCT离散余弦变换涉及微积分计算，计算量会随着输入像素数量呈现指数增长，滤波速度缓慢。此外，目前没有统一的DVS数据编码格式，对其进行压缩编码，只是按照数据产生的先后，简单存储DVS数据。

由中国主导的数字音视频编解码标准(Audio Video coding Standard，简称AVS)，正在逐步推广使用，目前已推出第三代AVS3标准。在AVS编码标准中，关于帧内压缩步骤，使用了离散余弦变换(Discrete Cosine Transform,简称DCT)，图像纹理保存在的DCT低频信号区，图像细节保存在DCT高频信号区。为了保留图像细节，通常视频编码时，保留少量高频信号。

通过上述分析，现有技术存在的问题及缺陷为：在现有技术中，DVS数据只是使用简单的数据结构方式，进行数据传输和存储，数据没有得到有效的压缩，同时在滤波过程中，将DVS数据解码成视频图像帧，再使用常规图像滤波方式进行滤波，这种滤波过程会存在 DCT重复运算的问题。总之，现有技术缺乏有效压缩编码和滤波方法，导致DVS滤波效率低。

解决以上问题及缺陷的难度为：

难点为，需要结合中国主导的AVS编解码标准DCT编码特性，从AVS编码过程中的数据流中，提取DVS数据的DCT编码，并作为滤波算子的输入编码数据。常规方法并不考虑视频编码，而是将视频直接解码成图像帧，把DVS数据按照常规图像帧处理。解决以上问题及缺陷的意义为：

使用AVS视频编码标准的DCT编码，作为滤波时的输入编码数据，避免了常规方法中，先解码成图像帧，再使用图像滤波算法进行滤波，从而提供DVS滤波效率。

发明内容

针对现有技术存在的问题，本发明提供了一种动态视觉传感器滤波加速控制方法、系统、设备及应用。

本发明是这样实现的，一种动态视觉传感器滤波加速控制方法，所述动态视觉传感器滤波加速控制方法使用AVS编码标准对动态视觉传感器DVS数据编码，对DCT信号去除高频、保留超低频的方式滤波；将得到的DCT超低频信号进行编码；在解码阶段，得到的DVS数据经过滤波后的DVS数据，达到加速DVS滤波过程。通过阈值设定的方式控制编码过程中的DCT频域信号分布，实现对DVS数据快速滤波。阈值设定的方式，指的是DCT量化过程中，设置阈值，选取DCT信号左上角的高频信号；高于阈值信号的选取，低于阈值信号的舍弃。

进一步，所述动态视觉传感器滤波加速控制方法从动态视觉传感器DVS中，获取原始 DVS数据。

进一步，动态视觉传感器DVS，输出稀疏的离散数据，包含椒盐噪声和区域内物体运动信息；在获得动态视觉传感器DVS返回的数据时，使用DVS原始数据，作为输入数据。

进一步，所述动态视觉传感器滤波加速控制方法使用AVS编解码标准，对DVS数据进行编码，并通过控制DCT量化过程，实现DVS滤波。

进一步，所述动态视觉传感器滤波加速控制方法使用AVS编码编制，进行视频编码时，其中有一个帧内压缩的步骤，使用DCT离散余弦变换；其中，n为区块像素数量，如8*8 区块，n＝8*8；k为像素序号，第k个像素；x为像素值；m为自定义数值；π为圆周率。

AVS编码标准中，将一张图片划分为多个区块，并对每个区块分别进行DCT编码；将高频区域置为0，只保留超低频信号；在AVS编码标准的后续压缩步骤中0值被去除。

进一步，所述动态视觉传感器滤波加速控制方法使用AVS编解码标准，对DVS编码文件解码，解码得到的结果，就是滤波后的DVS数据。

进一步，使用AVS解码S3：使用AVS编解码标准，对已经编码的DVS动态视觉传感器数据，进行解码，解码过程是AVS通用的、公开的解码过程，包括哈夫曼解码、之解码、 DCT逆变换，其中，DCT逆变换使用现有公开的计算标准公司：

其中，n为区块像素数量，如8*8区块，n＝8*8；k为像素序号，第k个像素；x为像素值； m为自定义数值；π为圆周率。在DCT离散余弦变换的逆变换前，根据精确度需求，去除DCT低频信号，滤除更多大颗粒椒盐噪声；

解码过程，按照标准的AVS解码标准，进行解码。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行步骤。

本发明的另一目的在于提供一种实施所述动态视觉传感器滤波加速控制方法的动态视觉传感器滤波加速控制系统，所述动态视觉传感器滤波加速控制系统包括：

DVS信号获取模块，用于从DVS动态视觉传感器中，获取原始DVS数据；

AVS编码模块，用于使用AVS编解码标准，对DVS数据进行编码，并通过控制DCT 量化过程，实现DVS滤波；

AVS解码模块，用于使用AVS编解码标准，对DVS编码文件解码，解码得到的结果，就是滤波后的DVS数据。

本发明的另一目的在于提供一种所述动态视觉传感器滤波加速控制方法在智能电子产品中的应用，所述智能电子产品包括：智能手机、智能手表、智能电视、智能冰箱、智能空调、智能车载充电器、智能扫地机器人、智能穿戴设备等。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：

本发明提供的方法去除了高频信号，DVS信号主要对应DCT超低频信号，无需像正常 AVS编码那样保留一定数量的高频信号(为了考虑人眼视觉效果，所以保留较多高频信号，以便显示图像细节，但对于DVS数据来说，这些细节不需要)，这样可以减少数据量。正常情况下，将DVS解码成图像帧，然后使用滤波算法滤波，这就相当于DCT重复运算了两次，即依次为：视频DCT编码、视频DCT解码、滤波DCT编码、滤波处理、滤波DCT解码。本发明方法只运行一次：视频DCT编码、滤波处理、视频DCT解码。其实就是，DCT没有必要算两次。

本发明使用AVS编码标准对DVS数据进行压缩编码，通过控制编码过程中的DCT频域信号分布，实现对DVS数据快速滤波。

本发明通过DVS编码和加速滤波过程的方法，可以大幅压缩DVS数据并加速DVS数据滤波过程。特别的，使用基于AVS编码标准进行DVS数据DCT编码，并从AVS解码阶段获得滤波后的DVS数据。从而解决旧有方法，因缺乏有效压缩编码和滤波方法，而导致 DVS滤波效率不高的问题。

本发明实现了基于AVS帧内压缩编码的加速DVS滤波过程的方法，利用AVS编解码标准，压缩DVS数据，并控制编码过程中的DCT离散余弦变换过程，实现DVS数据滤波功能。

本发明提供的方法利用AVS帧内压缩编码的方法实现数据压缩并包含DCT离散余弦变换的这一特性，通过去除高频、保留超低频操作实现数据滤波，进而解决DVS数据因缺乏有效数据压缩和重复运算导致DVS滤波效率不高的问题。

附图说明

图1是本发明实施例提供的动态视觉传感器滤波加速控制方法流程图。

图2是本发明实施例提供的动态视觉传感器滤波加速控制系统的结构示意图；

图2中：1、DVS信号获取模块；2、AVS编码模块；3、AVS解码模块。

图3是本发明实施例提供的动态视觉传感器滤波加速控制方法的实现流程图。

图4是本发明实施例提供的DVS数据处理的示意图；(a)DVS视觉传感器返回的原始数据示意图；(b)通过滤波去除椒盐噪声后的效果图。

图5是本发明实施例提供的DCT信号处理的示意图；(a)DCT信号量化前；(b)DCT 信号量化后。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种动态视觉传感器滤波加速控制方法、系统、设备及应用，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的动态视觉传感器滤波加速控制方法包括以下步骤：

S101：从DVS动态视觉传感器中，获取原始DVS数据；

S102：使用AVS编解码标准，对DVS数据进行编码，并通过控制DCT量化过程，实现DVS滤波；

S103；使用AVS编解码标准，对DVS编码文件解码，解码得到的结果，就是滤波后的DVS数据。

本发明提供的动态视觉传感器滤波加速控制方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的动态视觉传感器滤波加速控制方法仅仅是一个具体实施例而已。

如图2所示，本发明提供的动态视觉传感器滤波加速控制系统包括：

DVS信号获取模块1，用于从DVS动态视觉传感器中，获取原始DVS数据。

AVS编码模块2，用于使用AVS编解码标准，对DVS数据进行编码，并通过控制DCT 量化过程，实现DVS滤波。

AVS解码模块3，用于使用AVS编解码标准，对DVS编码文件解码，解码得到的结果，就是滤波后的DVS数据。

下面结合附图对本发明的技术方案作进一步的描述。

本发明提供的动态视觉传感器滤波加速控制方法使用基于AVS帧内压缩编码，对DVS 数据进行压缩编码，以此缩减数据量；并通过DCT低频为高能量信号、高频为低能量信号这一特性，对DVS数据进行滤波；最终实现加速DVS滤波过程的功能。本发明利用AVS 帧内压缩编码DCT和DVS数据的离散性，实现一个针对DVS数据滤波过程加速的方法，以此解决旧有方法中，因缺乏数据压缩和重复运算导致DVS滤波效率不高的问题。本发明通过阈值设定的方式控制编码过程中的DCT频域信号分布，实现对DVS数据快速滤波。阈值设定的方式，指的是DCT量化过程中，设置阈值，选取DCT信号左上角的高频信号；高于阈值信号的选取，低于阈值信号的舍弃。

如图3所示，本发明的方法利用AVS帧内压缩编码，对DVS数据进行压缩编码，利用编码过程中的DCT量化操作，实现对DVS数据的滤波，以此解决已有方法中，因缺乏数据压缩和重复运算导致DVS滤波效率不高的问题。

具体实施步骤如下：

步骤一、获取DVS信号。

DVS动态视觉传感器，输出稀疏的离散数据，包含椒盐噪声和区域内物体运动信息。如图4所示，是本发明方法的DVS数据处理的示意图，图4的(a)是DVS视觉传感器返回的原始数据示意图，图4的(b)是通过滤波去除椒盐噪声后的效果图。通常情况下，将 DVS返回的数据，转为图像帧的形式，然后编码成视频，以视频文件的格式进行传输和处理。后续想要对DVS滤波，就需要解码成单帧图像，对图像添加额外的操作进行滤波。这样，对于DVS这种极度稀疏的离散数据来说，将椒盐噪声编码，会产生大量冗余数据，不利于文件传输和存储。此外，对图像解码后才进行离散余弦变换滤波操作，会导致离散余弦变换重复计算的问题，增加额外不必要的计算量。因此，在获得DVS动态视觉传感器返回的数据时，先不做任何编码操作，使用DVS原始数据，作为下一步操作的输入数据。至此，获取DVS信号的操作已完成。

步骤二、使用AVS编码。使用AVS编码编制，进行视频编码时，其中有一个帧内压缩的步骤，该步骤使用了DCT离散余弦变换。在正常的视频，图像画面是丰富多彩的，为了尽量保留细节，DCT离散余弦变换中，会在保留DCT低频信号的同时，保留了部分高频信号。但针对DVS数据高度稀疏的离散性，只需保留超低频数据即可。DVS数据的椒盐噪声处在DCT高频区域，目标运动信号处在DCT低频区，只需保留DCT超低频信号，即可保留目标运动信号，以此有效去除噪声。如图5所示，是本发明的DCT信号处理的示意图，图5的(a)是4个8*8的区块，AVS编码标准中，将一张图片划分为多个区块，并对每个区块分别进行DCT编码。每个8*8大小的区块中，右下角高频信号，左上角是低频信号。如图5的(b)所示，量化过程是将高频区域置为0，只保留超低频信号。在AVS编码标准的后续压缩步骤中，这些0值将被去除，这样，经过编码压缩，极大缩减了视频文件的大小，有利于数据传输和存储。至此，使用AVS编码的操作完成。

步骤三、使用AVS解码。使用AVS编解码标准，对已经编码的DVS动态视觉传感器数据，进行解码，在DCT离散余弦变换的逆变换前，可以根据实际精确度需求，进一步去除右下角方向的DCT低频信号，滤除更多大颗粒椒盐噪声。解码过程，按照标准的AVS解码标准，进行解码即可。最后，解码出来的视频帧，就是滤波后的DVS数据信号了。和将视频信号进行帧解码后，在进行滤波算法滤波的常规方式相比，本发明不再需要进行重复 DCT运算，大大节省了滤波时间。至此，使用AVS解码的操作完成。最终，数据得到有效压缩和避免DCT重复运算，从而加快了DVS滤波过程。

在本发明提供的实施例中，如图5本发明的DCT信号处理的示意图所示，图中左侧DCT 信号，它是将帧DVS信号分割为一个个区块，区块大小8*8(也可以是其它大小，如16*16)。然后，输入到标准的DCT公式中，得到的；该帧DVS信号可以理解为图像，其数据结构和视频帧一样。该计算方法，是AVS标准中的通用的、公开的标准计算。

在本发明提供的实施例中，如图5本发明的DCT信号处理示意图所示，右侧，是解码前的信号编码，左上角为低频信号，解码时，左上角的低频信号，精确度要求很高时，则保留全部信号，但可能保留有少量噪声。精确度要求不高、不需要检测超小物体运动时，则去除左上角更多的低频信号。切除方式为zigzag编码(之字编码)，也是现有的、公开的编码方案。从左上角开始，按照图中折线轨迹，编码对应的数值，编码的数值越多，信号保留越多，到达每个阀值后，一定量的噪声，也会被保留，并逐渐增多。

本发明实施例提供的方法DVS数据，有关滤波算法，现有使用DCT算子计算后数据，而编码AVS编码标准保存DVS数据时，刚好有DCT编码好的数据。不需要解码后，又进行一次DCT编码，少掉一次DCT计算，当然就节约了计算时间了

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或 DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种动态视觉传感器滤波加速控制方法，其特征在于，所述动态视觉传感器滤波加速控制方法使用AVS编码标准对DVS数据进行压缩编码，通过阈值设定的方式控制编码过程中的DCT频域信号分布，实现对DVS数据快速滤波。

2.如权利要求1所述的动态视觉传感器滤波加速控制方法，其特征在于，所述控制方法具体包括：

S101：从DVS动态视觉传感器中，获取原始DVS数据；

S102：使用AVS编解码标准，对DVS数据进行编码，并通过控制DCT量化过程，实现DVS滤波。

3.如权利要求2所述的动态视觉传感器滤波加速控制方法，其特征在于，步骤S102之后进一步包括：

S103；使用AVS编解码标准，对DVS编码文件解码，解码得到的结果，就是滤波后的DVS数据。

4.如权利要求2所述的动态视觉传感器滤波加速控制方法，其特征在于，在步骤S101中，所述DVS动态视觉传感器输出稀疏的离散数据，包含椒盐噪声和区域内物体运动信息。

5.如权利要求2所述的动态视觉传感器滤波加速控制方法，其特征在于，在步骤S102中，使用AVS编码编制；进行视频编码时，进行帧内压缩，该压缩使用DCT离散余弦变换。

6.如权利要求2所述的动态视觉传感器滤波加速控制方法，其特征在于，在步骤S103中，使用AVS编解码标准，对已经编码的DVS动态视觉传感器数据，进行解码，在DCT离散余弦变换的逆变换前，根据实际精确度需求，去除右下角方向的DCT低频信号，滤除更多大颗粒椒盐噪声。

7.如权利要求6所述的动态视觉传感器滤波加速控制方法，其特征在于，所述DCT离散余弦变换为：

其中，n为区块像素数量，如8*8区块，n＝8*8；k为像素序号，第k个像素；x为像素值；m为自定义数值；π为圆周率。

8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1的步骤。

9.一种实施权利要求1～7任意一项所述动态视觉传感器滤波加速控制方法的动态视觉传感器滤波加速控制系统，其特征在于，所述动态视觉传感器滤波加速控制系统包括：

DVS信号获取模块，用于从DVS动态视觉传感器中，获取原始DVS数据；

AVS编码模块，用于使用AVS编解码标准，对DVS数据进行编码，并通过控制DCT量化过程，实现DVS滤波；

AVS解码模块，用于使用AVS编解码标准，对DVS编码文件解码，解码得到的结果，就是滤波后的DVS数据。

10.一种如权利要求1～7任意一项所述动态视觉传感器滤波加速控制方法在智能电子产品中的应用，其特征在于，所述智能电子产品包括：智能手机、智能手表、智能电视、智能冰箱、智能空调、智能车载充电器、智能扫地机器人、智能穿戴设备。

Images