CN116389682B - 一种双事件相机同步采集系统及噪声事件抑制方法 - Google Patents

一种双事件相机同步采集系统及噪声事件抑制方法 Download PDF

Info

Publication number
CN116389682B
CN116389682B CN202310210429.2A CN202310210429A CN116389682B CN 116389682 B CN116389682 B CN 116389682B CN 202310210429 A CN202310210429 A CN 202310210429A CN 116389682 B CN116389682 B CN 116389682B
Authority
CN
China
Prior art keywords
event
noise
cameras
time
groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310210429.2A
Other languages
English (en)
Other versions
CN116389682A (zh
Inventor
颜露新
段宇兴
��昌毅
钟胜
丁翔
刘冬生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202310210429.2A priority Critical patent/CN116389682B/zh
Publication of CN116389682A publication Critical patent/CN116389682A/zh
Application granted granted Critical
Publication of CN116389682B publication Critical patent/CN116389682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种双事件相机同步采集系统及噪声事件抑制方法，属于图像采集与图像处理领域。本发明利用两个相同型号的事件相机、外部触发板、光学组件搭建高精度时间同步采集系统，通过外部触发板的脉冲信号控制两个事件相机的采集达到微秒级时间戳对齐；将采集到的两组事件流信号按一段时间累积成事件帧图像，通过在两组事件帧图像上选取对应若干特征事件点，求解得到两个事件相机视场的透视变换投影矩阵，完成两组事件流的空间对齐。在时空对齐后的两组事件流中，对极性相同的事件进行时空一致性提取，得到噪声抑制后的事件流信号，简洁高效地实现了事件流抑噪。

Description

一种双事件相机同步采集系统及噪声事件抑制方法
技术领域
本发明属于图像采集与图像处理领域，更具体地，涉及一种双事件相机同步采集系统及噪声事件抑制方法。
背景技术
视觉是智慧生物和智能体的基本功能，负责理解与感知外部世界，视觉感知是生物与外界环境交互的重要方式。人类视觉系统具有低冗余、低功耗、高动态及稳健性强等优势，可以高效地自适应处理动态与静态信息。依托于大规模集成电路技术，近年来模拟人类神经形态的视觉工程得到了长足发展。事件相机作为当前一种重要的神经形态视觉传感器，具有高时间分辨率、高动态范围、低数据冗余和低功耗等优势，近年来在自动驾驶、无人机视觉导航、工业检测及视觉监控等领域产生了巨大的应用前景。
不同于传统帧成像相机全局定周期离散积分采样的方式，事件相机每个像素点独立感受光强时域变化进而异步触发一系列脉冲事件信号。尽管事件相机理论上只响应变化光强，然而，由于事件相机像素电路较为复杂、易受噪声干扰，事件相机输出的原始事件流信号中通常包含大量噪声事件。噪声事件会占用输出的带宽与后端计算资源，严重降低数据质量且造成不必要的系统功耗。
苏黎世联邦理工学院研究人员提出过一种基于时空密度的事件相机去噪方法：以每个事件信号为中心构造一个时空邻域，设置一个事件数量阈值，当该时空邻域内的事件数量大于等于该阈值，即保留下该事件，否则视为噪声事件滤除。该方法实现简单，但在噪声事件多或者真实事件较少时，效果受限。
戴顿大学研究人员提出一种基于计算事件真实性概率的去噪方法：利用帧图像空间梯度结合惯性测量单元的模式，求得各像素产生有效事件的概率模型后(在[0,1]范围，越大代表越可能为真实信号事件)，训练了将单个事件分类为信号或者噪声的神经网络模型。该方法去噪效果较好，但需要的模态信息较多，且计算量较大。
综上所述，虽然理论上事件相机的输出具有稀疏性，但容易受像素电路噪声干扰，因而输出事件流携带较多噪声事件。现有基于时空密度的事件流去噪方法精度较低，在噪声事件多或者真实事件较少时，效果受限；基于多模信息融合的去噪方法，需要借助跨模态信息，多模信息配准、计算量等问题加大了算法的复杂度。因此，事件相机的噪声抑制方法仍有待发展。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种双事件相机同步采集系统及噪声事件抑制方法，其目的在于提高事件相机去噪精度。
为实现上述目的，按照本发明的一个方面，提供了一种双事件相机同步采集系统，包括：两个相同型号的事件相机、外部触发板、1:1分光光学部件；
外部触发板，用于提供标准同步脉冲信号，控制两个事件相机采集时间戳对齐；
1:1分光光学部件，用于控制两个事件相机视场一致；
两个事件相机，同步采集外部事件信号。
进一步地，为便于安装，所述1:1分光光学部件底座与每个事件相机的靶面均垂直。
进一步地，所述系统还包括上位机，用于提供两个事件相机同步采集的可视化操作界面，并将每个事件相机所采集的事件流数据存储在本地。
进一步地，所述外部触发板采用单片机。
本发明还提供了一种基于上述双事件相机同步采集系统的噪声事件抑制方法，包括：
S1.每个事件相机在时间同步信号控制下采集数据，并输出两组事件流信号；
S2.将采集到的两组事件流信号按Δt时间间隔累积成事件帧图像，通过在两组事件帧图像上选取对应若干特征事件点，求出两个事件相机视场的透视变换投影矩阵；
S3.将其中一组事件流信号的像素坐标进行投影矩阵变换，实现两组事件流的空间对齐；
S4.在时空对齐后的两组事件流中，对极性相同的事件进行时空一致性提取，得到噪声抑制后的事件流信号。
进一步地，步骤S4具体包括：
将时空对齐后的两组事件流按Δt时间间隔与事件极性划分为四组时空三维矩阵；
根据每个矩阵元素上是否产生事件，生成对应四组事件掩膜图像：有事件产生则将该像素位置对应掩膜值设置为1，否则设置为0；
对相同极性的事件掩膜图像矩阵进行点乘运算，得到滤波后的事件掩膜图像；
将滤波后的事件掩膜图像与时空三维矩阵相乘，即得到噪声事件抑制后的事件流信号。
进一步地，为了获取更完整、更具时效性的事件信号，Δt为1-10ms。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。
传统的事件相机去噪方法基于单个事件相机内部信号事件具有时空关联性的特点，以人工先验知识作为指导区分事件流的信号与噪声，去噪效果依赖于阈值的设定，在噪声强或信号弱的情况下，存在噪声去除不干净或有效信号被去除的现象，去噪效果受限，适用范围较窄；
本发明设计双事件相机同步采集系统，真实信号在两台事件相机之间具有高度一致的时空分布，利用该特点区分事件流的信号与噪声，去噪效果不依赖于设定的阈值，实验证明本发明适用于更加广泛的信号场景。
附图说明
图1是本发明双事件相机同步采集系统的较佳实施例中采用1:1分光光学部件的系统组成图。
图2是本发明双事件相机同步采集系统的较佳实施例中的示意图。
图3是本发明双事件相机同步采集系统及噪声事件抑制方法的较佳实施例的流程图。
图4中(a)、(c)是原始含噪声事件帧，(b)、(d)是利用本发明方法抑制噪声事件帧的效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明较佳实施例所述的双事件相机同步采集系统，如图1所示，所述双事件相机同步采集系统包括：1:1分光光学部件、外部触发板、上位机以及两个相同型号的事件相机1#、2#；
具体地，如图1所示，所述外部触发板与所述上位机连接，所述外部触发板分别与每个所述事件相机连接，即外部触发板可以同时向1#、2#事件相机发送控制指令；1#、2#事件相机分别与一台上位机连接，向上位机传输采集的信号数据；每个所述事件相机均与1:1分光光学部件相连接；所述外部触发板用于提供高精度、高稳定的标准同步脉冲；每个所述事件相机通过接收所述外部触发板的标准脉冲信号来进行高精度的触发信号时间戳对齐；所述上位机通过同步采集软件建立每个所述相机同步采集的可视化操作界面，并将每个所述事件相机所采集的事件流数据存储在上位机。
为更清楚地说明上述系统及方法，实际搭建了如图2所示的共光轴双事件相机同步采集系统：1#、2#事件相机均与所述1:1分光光学部件相连接，在安装方向上，1#、2#事件相机的靶面均与1:1分光光学部件底座垂直；1#、2#事件相机的靶面法向分别安装在1:1分光立方体两侧；1:1分光体能将入射光按照反射量与投射量各50％传递至1#、2#事件相机的靶面，这种共光轴光路能为每个所述事件相机提供相同的视场。
进一步地，基于所述的双事件相机同步采集系统，本发明提供一种噪声事件抑制方法，本发明较佳实施例所述的噪声事件抑制方法，如图3所示，所述噪声事件抑制方法包括以下步骤：
步骤1，每个所述事件相机在时间同步信号控制下采集数据，并输出两组事件流信号；
步骤2，将采集到的两组事件流信号ε1#＝[e1,e2,…,eN]和ε2#＝[e1,e2,…,eN′]按Δt时间间隔累积成事件帧图像，其中，ei＝{xi,yi,ti,pi}为一个事件信号的像素坐标、时间戳以及+极性或-极性。然后通过在两组事件帧图像上选取对应若干特征事件点，求出两个事件相机视场的透视变换投影矩阵；
步骤3，将一组事件流信号的像素坐标通过投影矩阵变换进行微调，完成两组事件流的空间对齐；
步骤4，在时空对齐后的两组事件流中，对极性相同的事件进行时空一致性提取，得到噪声抑制后的事件流信号
具体地，本发明实施例采取以下过程时空一致性提取，本发明方法也可采用其他方法进行时空一致性提取，本发明对此不做限定：
将时空对齐后的两组事件流按Δt时间间隔与事件极性划分为四组时空三维矩阵，矩阵每个像素第三个维度记录所产生的事件时间戳；
根据每个像素上是否产生事件，生成对应四组事件掩膜图像M1#+、M1#-、M2#+、M2#-，有事件产生则该像素位置对应掩膜值为1，否则为0；
对相同极性的事件掩膜图像矩阵进行一致性提取后得到滤波后的事件掩膜图像Mfiltered +、Mfiltered -，具体地，Mfiltered +＝M1#+⊙M2#+，Mfiltered -＝M1#-⊙M2#-，其中为⊙矩阵哈达玛积点乘运算；
将滤波后的事件掩膜图像与时空三维矩阵相乘，即得到噪声事件抑制后的事件流信号。
如图4所示原始含噪声事件帧和利用本发明方法的较佳实施例抑制噪声事件帧的效果对比图，其中(a)、(c)是用其中一个事件相机采集到的原始事件帧图像，可以看到由于事件相机易受电路噪声干扰，其原始输出包含大量离散噪声事件点，(b)、(d)是运用本发明提出的噪声事件抑制方法后的事件帧图像，可以看到噪声事件得到了很好的滤除，同时局部真实信号事件也得到了保留(如图4中(b)的小目标事件点)。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种双事件相机同步采集系统的噪声事件抑制方法，其特征在于，所述双事件相机同步采集系统包括：两个相同型号的事件相机、外部触发板、1:1分光光学部件；外部触发板用于提供标准同步脉冲信号，控制两个事件相机采集时间戳对齐；1:1分光光学部件用于控制两个事件相机视场一致；两个事件相机同步采集外部事件信号；方法包括：
S1.每个事件相机在时间同步信号控制下采集数据，并输出两组事件流信号；
S2.将采集到的两组事件流信号按Δt时间间隔累积成事件帧图像，通过在两组事件帧图像上选取对应若干特征事件点，求出两个事件相机视场的透视变换投影矩阵；
S3.将其中一组事件流信号的像素坐标进行投影矩阵变换，实现两组事件流的空间对齐；
S4.在时空对齐后的两组事件流中，对极性相同的事件进行时空一致性提取，得到噪声抑制后的事件流信号；
步骤S4具体包括：
将时空对齐后的两组事件流按Δt时间间隔与事件极性划分为四组时空三维矩阵；
根据每个矩阵元素上是否产生事件，生成对应四组事件掩膜图像：有事件产生则将该像素位置对应掩膜值设置为1，否则设置为0；
对相同极性的事件掩膜图像矩阵进行点乘运算，得到滤波后的事件掩膜图像；
将滤波后的事件掩膜图像与时空三维矩阵相乘，即得到噪声事件抑制后的事件流信号。
2.根据权利要求1所述的一种噪声事件抑制方法，其特征在于，Δt为1-10ms。
3.根据权利要求1所述的一种噪声事件抑制方法，其特征在于，所述1:1分光光学部件底座与每个事件相机的靶面均垂直。
4.根据权利要求3所述的一种噪声事件抑制方法，其特征在于，所述系统还包括上位机，用于提供两个事件相机同步采集的可视化操作界面，并将每个事件相机所采集的事件流数据存储在本地。
5.根据权利要求3所述的一种噪声事件抑制方法，其特征在于，所述外部触发板采用单片机。
CN202310210429.2A 2023-03-07 2023-03-07 一种双事件相机同步采集系统及噪声事件抑制方法 Active CN116389682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310210429.2A CN116389682B (zh) 2023-03-07 2023-03-07 一种双事件相机同步采集系统及噪声事件抑制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310210429.2A CN116389682B (zh) 2023-03-07 2023-03-07 一种双事件相机同步采集系统及噪声事件抑制方法

Publications (2)

Publication Number Publication Date
CN116389682A CN116389682A (zh) 2023-07-04
CN116389682B true CN116389682B (zh) 2024-02-06

Family

ID=86979685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310210429.2A Active CN116389682B (zh) 2023-03-07 2023-03-07 一种双事件相机同步采集系统及噪声事件抑制方法

Country Status (1)

Country Link
CN (1) CN116389682B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270567A (zh) * 2014-09-11 2015-01-07 深圳市南航电子工业有限公司 高精度同步的多路图像采集系统及其时间同步方法
CN107302668A (zh) * 2017-08-17 2017-10-27 中国人民解放军国防科技大学 一种基于转轮动态分光的高动态范围成像模块
CN111899276A (zh) * 2020-07-07 2020-11-06 武汉大学 一种基于双目事件相机的slam方法及系统
CN112631314A (zh) * 2021-03-15 2021-04-09 季华实验室 基于多线激光雷达与事件相机slam的机器人控制方法、系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10516876B2 (en) * 2017-12-19 2019-12-24 Intel Corporation Dynamic vision sensor and projector for depth imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270567A (zh) * 2014-09-11 2015-01-07 深圳市南航电子工业有限公司 高精度同步的多路图像采集系统及其时间同步方法
CN107302668A (zh) * 2017-08-17 2017-10-27 中国人民解放军国防科技大学 一种基于转轮动态分光的高动态范围成像模块
CN111899276A (zh) * 2020-07-07 2020-11-06 武汉大学 一种基于双目事件相机的slam方法及系统
CN112631314A (zh) * 2021-03-15 2021-04-09 季华实验室 基于多线激光雷达与事件相机slam的机器人控制方法、系统

Also Published As

Publication number Publication date
CN116389682A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
Baldwin et al. Time-ordered recent event (tore) volumes for event cameras
CN110427823B (zh) 基于视频帧与脉冲阵列信号的联合目标检测方法与装置
CN102855470A (zh) 基于深度图像的人体姿态估计方法
US11501536B2 (en) Image processing method, an image processing apparatus, and a surveillance system
CN107302695A (zh) 一种基于仿生视觉机理的电子复眼系统
CN111209811B (zh) 一种实时检测眼球注意力位置的方法及系统
CN109509156A (zh) 一种基于生成对抗模型的图像去雾处理方法
CN103593679A (zh) 一种基于在线机器学习的视觉人手跟踪方法
CN102932638B (zh) 基于计算机建模的3d视频监控方法
CN113901931A (zh) 一种基于知识蒸馏模型的红外和可见光视频的行为识别方法
US20230266818A1 (en) Eye tracking device, eye tracking method, and computer-readable medium
Kirkland et al. Imaging from temporal data via spiking convolutional neural networks
CN116389682B (zh) 一种双事件相机同步采集系统及噪声事件抑制方法
CN113920498B (zh) 一种基于多层特征金字塔的点云3d物体检测方法
US20160086344A1 (en) Visual tracking of an object
CN102510436B (zh) 高速微小目标仿蝇视觉在线实时检测装置及检测方法
Lan Retracted: Target tracking and risk avoidance system for intelligent driving system based on 5G signal anomaly detection
CN117576153A (zh) 一种目标跟踪方法及系统
CN112949424A (zh) 一种神经形态视觉采样方法及装置
Ringach et al. A diffusion mechanism for obstacle detection from size-change information
CN111754543B (zh) 图像处理方法、装置及系统
Zhang et al. Research on Brain-inspired Vision Based on Dynamic Vision Sensor Cameras
CN113066152B (zh) 一种agv地图构建方法和系统
Yin et al. Moving objects detection by imitating biologic vision based on fly's eyes
Chen et al. Notice of Violation of IEEE Publication Principles: Intensity-Image Reconstruction for Event Cameras Using Convolutional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant