CN111695681B - 一种高分辨率动态视觉观测方法及装置 - Google Patents

一种高分辨率动态视觉观测方法及装置 Download PDF

Info

Publication number
CN111695681B
CN111695681B CN202010549524.1A CN202010549524A CN111695681B CN 111695681 B CN111695681 B CN 111695681B CN 202010549524 A CN202010549524 A CN 202010549524A CN 111695681 B CN111695681 B CN 111695681B
Authority
CN
China
Prior art keywords
resolution
event
data
event stream
stream data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010549524.1A
Other languages
English (en)
Other versions
CN111695681A (zh
Inventor
高跃
李思奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010549524.1A priority Critical patent/CN111695681B/zh
Publication of CN111695681A publication Critical patent/CN111695681A/zh
Application granted granted Critical
Publication of CN111695681B publication Critical patent/CN111695681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种高分辨率动态视觉观测方法，包括：步骤1、获取低分辨率事件流数据，从事件相机获取低空间分辨率的事件流数据；步骤2、进行数据预处理，根据输入低分辨率事件数据的空间分辨率尺寸和期望得到高分辨率事件数据的空间分辨率尺寸，计算得到所需要提升分辨率的倍数；步骤3、构建脉冲神经网络，使用Spike Response模型作为神经元动力学模型，构建全连接脉冲神经网络；步骤4、完成高分辨率时空脉冲信号计算；步骤5、进行数据后处理，实现高分辨率动态视觉观测。本方法可以从低分辨率的稀疏事件数据获得更高空间分辨率的事件数据，实现高分辨率动态视觉观测的效果。

Description

一种高分辨率动态视觉观测方法及装置
技术领域
本发明涉及计算机视觉及神经形态计算领域，尤其涉及一种高分辨率动态视觉观测方法及装置。
背景技术
事件相机是一种受生物启发的传感器，工作原理与传统的相机有很大的差别。与传统相机以固定帧率采集场景绝对光强不同，这种相机当且仅当场景光强变化时输出数据，这种输出的数据称为事件流。与传统相机相比，事件相机有着高动态范围、高时间分辨率、无动态模糊等优点。
事件相机作为一种新型视觉传感器，其输出数据的形式与传统相机完全不同，无法直接应用传统相机及图像的各种算法。传统相机以固定速率(即帧率)采集场景的光强值，并以固定速率输出为图片数据。事件相机则没有帧率的概念，其每个像素点异步工作，当检测到光强变化时输出一条事件。每条事件为一个四元组(x,y,t,p)，包含像素横纵坐标(x,y)、时间戳t和事件极性p(其中，p＝-1表示该像素点光强减小，p＝1表示该像素点光强增大)。所有像素点输出的事件数据汇总起来，形成由一条条事件组成的事件列表，作为相机输出的事件流数据。一个长度为20秒传统相机获得的视频数据，和与之对应的事件相机输出的事件流数据的实例如图1所示。因此，传统相机及传统图像处理领域中适用的各种算法及方法，均无法直接使用于事件相机及事件数据。
脉冲神经网络是第三代人工神经网络，它把时间信息的影响也考虑其中。脉冲神经网络中的神经元不是在每一次迭代传播中都被激活，而是在它的膜电位达到某一个特定值才被激活。当一个神经元被激活，它会产生一个信号传递给其他神经元，提高或降低其膜电位。脉冲神经网络模拟神经元更加接近实际，更加适用于处理时序脉冲信号。
相比于传统相机，事件相机可以获得极高的时间分辨率，但由于事件相机受限于功率及响应时间等因素，空间分辨率较低，空间分辨率与事件分辨率形成一对矛盾。如何提升事件流数据的空间分辨率，实现高分辨率动态观测是亟待解决的问题。现有方法采用非齐次泊松过程建模每个像素点的事件触发的过程，利用每个像素点周围8个像素点的事件数预估该像素点的事件数。这种方法仅考虑每个像素点周围的信息，缺乏对于场景整体动态信息的使用。同时，对于每个像素点的非齐次泊松过程建模较为耗费时间，效率极低。
发明内容
为解决现有事件相机空间分辨率低的问题，本发明提供了一种高分辨率动态视觉观测方法及装置，可以在现有事件相机所获取的低空间分辨率事件数据的基础上得到更高空间高分辨率的事件数据。
本发明的技术方案是提供了一种高分辨率动态视觉观测方法，包括如下步骤：
步骤1、获取低分辨率事件流数据，从事件相机获取低空间分辨率的事件流数据；
步骤2、进行数据预处理，根据输入低分辨率事件数据的空间分辨率尺寸和期望得到高分辨率事件数据的空间分辨率尺寸，计算得到所需要提升分辨率的倍数；将输入低分辨率事件流数据中每个事件的空间坐标与需要提升分辨率的倍数相乘，得到空间稀疏的事件流数据ε′；将稀疏的事件流数据根据空间坐标、极性及时间戳信息编码为对应的二进制四维张量V，再重排成平面二维张量V′，两个维度分别对应空间及时间维度；
步骤3、构建脉冲神经网络，使用Spike Response模型作为神经元动力学模型，构建全连接脉冲神经网络；
步骤4、完成高分辨率时空脉冲信号计算，将步骤2得到的稀疏的时空脉冲信号使用步骤3得到的全连接脉冲神经网络进行前向传播，得到高分辨率的稠密时空脉冲信号；
步骤5、进行数据后处理，统计步骤4得到的稠密时空脉冲信号中，触发脉冲的空间坐标及时间戳，并恢复为高分辨率事件流数据εh，实现高分辨率动态视觉观测。
本发明还提供了一种高分辨率动态视觉观测装置，包括：原始数据获取单元，数据预处理单元，脉冲神经网络构建单元，高分辨率时空脉冲信号计算单元，数据后处理单元；其特征在于：
低分辨率事件流数据获取单元，从事件相机获取低空间分辨率的事件流数据；
数据预处理单元，根据输入低分辨率事件数据的空间分辨率尺寸和期望得到高分辨率事件数据的空间分辨率尺寸，计算得到所需要提升分辨率的倍数；将输入低分辨率事件流数据中每个事件的空间坐标与需要提升分辨率的倍数相乘，得到空间稀疏的事件流数据ε′；将稀疏的事件流数据根据空间坐标、极性及时间戳信息编码为对应的二进制四维张量V，再重排成平面二维张量V′，两个维度分别对应空间及时间维度；
脉冲神经网络构建单元，使用Spike Response模型作为神经元动力学模型，构建全连接脉冲神经网络；
高分辨率时空脉冲信号计算单元，将数据预处理单元得到的稀疏的时空脉冲信号使用脉冲神经网络构建单元得到的全连接脉冲神经网络进行前向传播，得到高分辨率的时空脉冲信号；
数据后处理单元，统计高分辨率时空脉冲信号计算单元输出的稠密时空脉冲信号中，触发脉冲的空间坐标及时间戳，并恢复为高分辨率事件流数据εh，实现高分辨率动态视觉观测。
本发明的有益效果是：本高分辨率动态视觉观测方法可以从目前低空间分辨率的事件相机所获取的事件数据中，获得更高空间分辨率的场景动态观测效果。本发明使用全连接脉冲神经网络处理低分辨率事件流数据，可以解决现有方法缺乏对于场景整体动态信息的使用的问题。同时，本发明使用全连接脉冲神经网络处理低分辨率事件流数据，可以同步处理每个像素点的事件数据，极大提升效率。
附图说明
图1是一个时间长度为20秒的传统相机获得的视频数据和与之对应的事件相机获得的流数据示意图。
图2是本发明中所述事件流超分辨率步骤及事件流超分辨率装置中所使用的全连接脉冲神经网络的结构示意图。
图3是本发明一种实施实例的高分辨率动态视觉观测方法的流程示意图。
具体实施方式
以下结合图3对发明的技术方案作进一步详细说明。
如图3所示，该实施例提供了一种高分辨动态视觉观测方法，用于事件流超分辨率与场景高分辨率观测，包括如下步骤：
步骤1、获取低分辨率事件流数据，从事件相机获取低空间分辨率的事件流数据；
该步骤中，利用现有事件相机，采集待实现超分辨率的低空间分辨率事件流数据。事件相机作为仿生新型相机，其当且仅当场景光强变化时输出数据，这种输出的数据称为事件流。事件相机所输出的事件流数据可以用公式(1)的形式表示
Figure BDA0002541960640000041
其中，ε为事件流集合，i表示事件流中事件的编号，xi为第i个事件的空间横坐标，yi为第i个事件的空间纵坐标，ti表示第i个事件的时间戳，pi为第i个事件的极性。pi＝1表示这个像素点的光强增大，pi＝-1表示这个像素点的光强减小。
步骤2、进行数据预处理，根据输入低分辨率事件数据的空间分辨率尺寸和期望得到高分辨率事件数据的空间分辨率尺寸，计算得到所需要提升分辨率的倍数k；将输入低分辨率事件流数据中每个事件的空间坐标与需要提升分辨率的倍数相乘，得到空间稀疏的事件流数据ε′；将稀疏的事件流数据根据空间坐标、极性及时间戳信息编码为对应的二进制四维张量V，再重排成平面二维张量V′，两个维度分别对应空间及时间维度；
该步骤中，所需要提升分辨率的倍数k由如下公式获得：
Figure BDA0002541960640000051
其中，Wh和Hh分别为期望得到高分辨率事件数据的宽和高，Wl和Hl分别为输入低分辨率事件数据的宽和高。
空间稀疏的事件流数据ε′采用如下算法获得：
Figure BDA0002541960640000052
x′i＝xi·k,y′i＝yi·k
其中，xi与yi分别为输入低分辨率事件流中第i个事件的空间横纵坐标，ti为输入低分辨率事件流中第i个事件的时间戳，pi为输入低分辨率事件流中第i个事件的极性，x′i为所述空间稀疏事件流中第i个事件的横坐标，y′i为所述空间稀疏事件流中第i个事件的纵坐标。
二进制四维张量V及平面二维张量V′采用如下算法获得：
Figure BDA0002541960640000053
Figure BDA0002541960640000061
其中，Wh和Hh分别为期望得到高分辨率事件数据的宽和高，δ(·)为单位脉冲函数。
步骤3、构建脉冲神经网络，使用Spike Response模型作为神经元动力学模型，构建全连接脉冲神经网络；
该步骤中，全连接脉冲神经网络结构如图2所示，包含输入层、输出层和三个隐藏层，输入层与输出层的神经元个数均为2×Wh×Hh，三个隐藏层的神经元个数依次为2048、1024和2048。
步骤4、完成高分辨率时空脉冲信号计算，将步骤2得到的稀疏的时空脉冲信号使用步骤3得到的全连接脉冲神经网络进行前向传播，得到高分辨率的稠密时空脉冲信号；
步骤5、进行数据后处理，统计步骤4得到的稠密时空脉冲信号中，触发脉冲的空间坐标及时间戳，并恢复为高分辨率事件流数据εh，实现高分辨率动态视觉观测。
该步骤中，高分辨率事件流数据εh采用如下算法获得：
Figure BDA0002541960640000062
s.t.Vout(xh i+yh i×Wh+ph i×Hh×Wh,th i)＝1
其中，Vout为步骤4得到的稠密时空脉冲信号，Wh和Hh分别为期望得到高分辨率事件数据的宽和高，xh i为高分辨率事件流数据中第i个事件的横坐标，yh i为高分辨率事件流数据中第i个事件的纵坐标，th i为高分辨率事件流数据中第i个事件的时间戳，ph i为高分辨率事件流数据中第i个事件的极性。
该实例还提供了一种高分辨率动态视觉观测装置，包括：原始数据获取单元，数据预处理单元，脉冲神经网络构建单元，高分辨率时空脉冲信号计算单元，数据后处理单元；
低分辨率事件流数据获取单元，从事件相机获取低空间分辨率的事件流数据；
数据预处理单元，根据输入低分辨率事件数据的空间分辨率尺寸和期望得到高分辨率事件数据的空间分辨率尺寸，计算得到所需要提升分辨率的倍数k；将输入低分辨率事件流数据中每个事件的空间坐标与需要提升分辨率的倍数相乘，得到空间稀疏的事件流数据ε′；将稀疏的事件流数据根据空间坐标、极性及时间戳信息编码为对应的二进制四维张量V，再重排成平面二维张量V′，两个维度分别对应空间及时间维度；
脉冲神经网络构建单元，使用Spike Response模型作为神经元动力学模型，构建全连接脉冲神经网络；
高分辨率时空脉冲信号计算单元，将数据预处理单元得到的稀疏的时空脉冲信号使用脉冲神经网络构建单元得到的全连接脉冲神经网络进行前向传播，得到高分辨率的时空脉冲信号；
数据后处理单元，统计高分辨率时空脉冲信号计算单元输出的稠密时空脉冲信号中，触发脉冲的空间坐标及时间戳，并恢复为高分辨率事件流数据εh，实现高分辨率动态视觉观测。
该实施例提供的一种高分辨率动态视觉观测装置，可用于实现一种高分辨动态视觉观测方法。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所述技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为本发明由所提交的权利要求书确定的专利保护范围。

Claims (10)

1.一种高分辨率动态视觉观测方法，其特征在于：包括如下步骤：
步骤1、获取低分辨率事件流数据，从事件相机获取低空间分辨率的事件流数据；
步骤2、进行数据预处理，根据输入低分辨率事件数据的空间分辨率尺寸和期望得到高分辨率事件数据的空间分辨率尺寸，计算得到所需要提升分辨率的倍数；将输入低分辨率事件流数据中每个事件的空间坐标与需要提升分辨率的倍数相乘，得到空间稀疏的事件流数据ε′；将稀疏的事件流数据根据空间坐标、极性及时间戳信息编码为对应的二进制四维张量V，再重排成平面二维张量V′，两个维度分别对应空间及时间维度；
步骤3、构建脉冲神经网络，使用Spike Response模型作为神经元动力学模型，构建全连接脉冲神经网络；
步骤4、完成高分辨率时空脉冲信号计算，将步骤2得到的稀疏的时空脉冲信号使用步骤3得到的全连接脉冲神经网络进行前向传播，得到高分辨率的稠密时空脉冲信号；
步骤5、进行数据后处理，统计步骤4得到的稠密时空脉冲信号中，触发脉冲的空间坐标及时间戳，并恢复为高分辨率事件流数据εh，实现高分辨率动态视觉观测。
2.如权利要求1所述的高分辨率动态视觉观测方法，其特征在于，步骤2中，空间稀疏的事件流数据ε′采用如下算法获得：
Figure FDA0002541960630000011
x′i＝xi·k,y′i＝yi·k
Figure FDA0002541960630000012
其中，Wh和Hh分别为期望得到高分辨率事件数据的宽和高，Wl和Hl分别为输入低分辨率事件数据的宽和高，k为所需要提升分辨率的倍数，xi与yi分别为输入低分辨率事件流中第i个事件的空间横坐标和纵坐标，ti为输入低分辨率事件流中第i个事件的时间戳，pi为输入低分辨率事件流中第i个事件的极性，x′i为所述空间稀疏事件流中第i个事件的横坐标，y′i为所述空间稀疏事件流中第i个事件的纵坐标。
3.如权利要求2所述的高分辨率动态视觉观测方法，其特征在于，步骤2中，二进制四维张量V及平面二维张量V′采用如下算法获得：
Figure FDA0002541960630000021
Figure FDA0002541960630000022
其中，δ(·)为单位脉冲函数。
4.如权利要求2所述的高分辨率动态视觉观测方法，其特征在于，步骤3中，所述全连接脉冲神经网络包含输入层、输出层和三个隐藏层，输入层与输出层的神经元个数均为2×Wh×Hh，三个隐藏层的神经元个数依次为2048、1024和2048。
5.如权利要求2所述的高分辨率动态视觉观测方法，其特征在于，步骤5中，高分辨率事件流数据εh采用如下算法获得：
Figure FDA0002541960630000023
s.t.Vout(xh i+yh i×Wh+ph i×Hh×Wh,th i)＝1
其中，Vout为步骤4得到的稠密时空脉冲信号，xh i为高分辨率事件流数据中第i个事件的横坐标，yh i为高分辨率事件流数据中第i个事件的纵坐标，th i为高分辨率事件流数据中第i个事件的时间戳，ph i为高分辨率事件流数据中第i个事件的极性。
6.一种高分辨率动态视觉观测装置，包括：原始数据获取单元，数据预处理单元，脉冲神经网络构建单元，高分辨率时空脉冲信号计算单元，数据后处理单元；其特征在于：
低分辨率事件流数据获取单元，从事件相机获取低空间分辨率的事件流数据；
数据预处理单元，根据输入低分辨率事件数据的空间分辨率尺寸和期望得到高分辨率事件数据的空间分辨率尺寸，计算得到所需要提升分辨率的倍数；将输入低分辨率事件流数据中每个事件的空间坐标与需要提升分辨率的倍数相乘，得到空间稀疏的事件流数据ε′；将稀疏的事件流数据根据空间坐标、极性及时间戳信息编码为对应的二进制四维张量V，再重排成平面二维张量V′，两个维度分别对应空间及时间维度；
脉冲神经网络构建单元，使用Spike Response模型作为神经元动力学模型，构建全连接脉冲神经网络；
高分辨率时空脉冲信号计算单元，将数据预处理单元得到的稀疏的时空脉冲信号使用脉冲神经网络构建单元得到的全连接脉冲神经网络进行前向传播，得到高分辨率的时空脉冲信号；
数据后处理单元，统计高分辨率时空脉冲信号计算单元输出的稠密时空脉冲信号中，触发脉冲的空间坐标及时间戳，并恢复为高分辨率事件流数据εh，实现高分辨率动态视觉观测。
7.如权利要求6所述的高分辨率动态视觉观测装置，其特征在于，数据预处理单元，空间稀疏的事件流数据ε′采用如下算法获得：
Figure FDA0002541960630000031
x′i＝xi·k,y′i＝yi·k
Figure FDA0002541960630000032
其中，Wh和Hh分别为期望得到高分辨率事件数据的宽和高，Wl和Hl分别为输入低分辨率事件数据的宽和高，k为所需要提升分辨率的倍数，xi与yi分别为输入低分辨率事件流中第i个事件的空间横坐标和纵坐标，ti为输入低分辨率事件流中第i个事件的时间戳，pi为输入低分辨率事件流中第i个事件的极性，x′i为所述空间稀疏事件流中第i个事件的横坐标，y′i为所述空间稀疏事件流中第i个事件的纵坐标。
8.如权利要求7所述的高分辨率动态视觉观测装置，其特征在于，数据预处理单元，二进制四维张量V及平面二维张量V′采用如下算法获得：
Figure FDA0002541960630000041
Figure FDA0002541960630000042
其中，δ(·)为单位脉冲函数。
9.如权利要求7所述的高分辨率动态视觉观测装置，其特征在于，脉冲神经网络构建单元，所述全连接脉冲神经网络包含输入层、输出层和三个隐藏层，输入层与输出层的神经元个数均为2×Wh×Hh，三个隐藏层的神经元个数依次为2048、1024和2048。
10.如权利要求7所述的高分辨率动态视觉观测装置，其特征在于，数据后处理单元，高分辨率事件流数据εh采用如下算法获得：
Figure FDA0002541960630000043
s.t.Vout(xh i+yh i×Wh+ph i×Hh×Wh,th i)＝1
其中，Vout为高分辨率时空脉冲信号计算单元得到的稠密时空脉冲信号，xh i为高分辨率事件流数据中第i个事件的横坐标，yh i为高分辨率事件流数据中第i个事件的纵坐标，th i为高分辨率事件流数据中第i个事件的时间戳，ph i为高分辨率事件流数据中第i个事件的极性。
CN202010549524.1A 2020-06-16 2020-06-16 一种高分辨率动态视觉观测方法及装置 Active CN111695681B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010549524.1A CN111695681B (zh) 2020-06-16 2020-06-16 一种高分辨率动态视觉观测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010549524.1A CN111695681B (zh) 2020-06-16 2020-06-16 一种高分辨率动态视觉观测方法及装置

Publications (2)

Publication Number Publication Date
CN111695681A CN111695681A (zh) 2020-09-22
CN111695681B true CN111695681B (zh) 2022-10-11

Family

ID=72481446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010549524.1A Active CN111695681B (zh) 2020-06-16 2020-06-16 一种高分辨率动态视觉观测方法及装置

Country Status (1)

Country Link
CN (1) CN111695681B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837938B (zh) * 2021-07-28 2022-09-09 北京大学 基于动态视觉传感器重建潜在图像的超分辨率方法
CN113607628B (zh) * 2021-09-02 2023-02-10 清华大学 神经形态计算驱动图像流式细胞仪对细胞图像流处理方法
CN114885112B (zh) * 2022-03-23 2023-06-20 清华大学 基于数据融合的高帧率视频生成方法及装置
CN114723009B (zh) * 2022-04-12 2023-04-25 重庆大学 一种基于异步事件流的数据表示方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403154A (zh) * 2017-07-20 2017-11-28 四川大学 一种基于动态视觉传感器的步态识别方法
CN108182670A (zh) * 2018-01-15 2018-06-19 清华大学 一种事件图像的分辨率增强方法及系统
CN110415344A (zh) * 2019-06-24 2019-11-05 武汉大学 基于事件相机的运动补偿方法
CN111247801A (zh) * 2017-09-28 2020-06-05 苹果公司 用于事件相机数据处理的系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733428B2 (en) * 2017-02-01 2020-08-04 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Recognition actions on event based cameras with motion event features

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403154A (zh) * 2017-07-20 2017-11-28 四川大学 一种基于动态视觉传感器的步态识别方法
CN111247801A (zh) * 2017-09-28 2020-06-05 苹果公司 用于事件相机数据处理的系统和方法
CN108182670A (zh) * 2018-01-15 2018-06-19 清华大学 一种事件图像的分辨率增强方法及系统
CN110415344A (zh) * 2019-06-24 2019-11-05 武汉大学 基于事件相机的运动补偿方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CIFAR10-DVS：An Event-Stream Dataset for Object Classification;Hongmin Li等;《Neuromorphic Engineering》;20170530;第1-10页 *
面向车联网的时空事件处理语言STEP;李慧勇等;《计算机科学与探索》;20150925;第10卷(第07期);第959-974页 *

Also Published As

Publication number Publication date
CN111695681A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN111695681B (zh) 一种高分辨率动态视觉观测方法及装置
CN108182670B (zh) 一种事件图像的分辨率增强方法及系统
CN113837938B (zh) 基于动态视觉传感器重建潜在图像的超分辨率方法
Mahjourian et al. Geometry-based next frame prediction from monocular video
CN102682442B (zh) 基于光流场的运动目标超分辨率图像重建方法
CN111798370A (zh) 基于流形约束的事件相机图像重建方法及系统
CN113408671B (zh) 一种对象识别方法及装置、芯片及电子设备
CN116309781B (zh) 一种基于跨模态融合的水下视觉目标测距方法及装置
CN113112521B (zh) 一种基于脉冲阵列的运动检测方法
CN115601403A (zh) 一种基于自注意力机制的事件相机光流估计方法及装置
CN114245007A (zh) 一种高帧率视频合成方法、装置、设备和存储介质
CN110426560B (zh) 一种脉冲阵列信号时空上采样器生成方法
CN109509213A (zh) 一种应用于异步时域视觉传感器的Harris角点检测方法
CN109377516A (zh) 一种使用动态视觉数据的光流计算方法
CN116895098A (zh) 基于深度学习和隐私保护的视频人体动作识别系统与方法
Fang et al. AEDNet: Asynchronous event denoising with Spatial-Temporal correlation among irregular data
Zhang et al. Learning temporal-ordered representation for spike streams based on discrete wavelet transforms
CN111696143A (zh) 一种事件数据的配准方法与系统
Wang et al. VPU: a video-based point cloud upsampling framework
CN115953438A (zh) 光流估计方法及装置、芯片及电子设备
CN115984124A (zh) 一种神经形态脉冲信号去噪和超分辨方法及装置
CN114998405A (zh) 基于图像驱动的数字化人体模型构建方法
Dai et al. Adaptive illumination based depth sensing using deep superpixel and soft sampling approximation
Li et al. Super-resolution of fisheye rectified image based on deep multi-path cascaded network
Chen et al. Notice of Violation of IEEE Publication Principles: Intensity-Image Reconstruction for Event Cameras Using Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant