CN116402852A - 基于事件相机的动态高速目标追踪方法及装置 - Google Patents

基于事件相机的动态高速目标追踪方法及装置 Download PDF

Info

Publication number
CN116402852A
CN116402852A CN202310305755.1A CN202310305755A CN116402852A CN 116402852 A CN116402852 A CN 116402852A CN 202310305755 A CN202310305755 A CN 202310305755A CN 116402852 A CN116402852 A CN 116402852A
Authority
CN
China
Prior art keywords
frame image
target
gray
detection
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310305755.1A
Other languages
English (en)
Inventor
吴金建
徐沛航
马居坡
石光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pazhou Laboratory Huangpu
Guangzhou Institute of Technology of Xidian University
Original Assignee
Pazhou Laboratory Huangpu
Guangzhou Institute of Technology of Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pazhou Laboratory Huangpu, Guangzhou Institute of Technology of Xidian University filed Critical Pazhou Laboratory Huangpu
Priority to CN202310305755.1A priority Critical patent/CN116402852A/zh
Publication of CN116402852A publication Critical patent/CN116402852A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于事件相机的动态高速目标追踪方法及装置，该方法包括：获取事件相机采集的高速运动场景中的光线亮度变换图，并将其解析为事件帧图像集；根据事件帧图像集中当前帧图像与上一帧图像中通过第二检测框识别到的多个目标，对当前帧图像与上一帧图像进行目标关联匹配，以确定多个被跟踪的目标；获取被跟踪的目标在下一帧图像中的预测位置与实际位置，并根据预测位置与实际位置的误差大小，确定被跟踪的目标是否为同一个追踪目标，得到追踪结果；实时获取并显示追踪结果。本方案利用事件相机对高速运动的目标进行捕捉，并对事件相机的原始数据进行处理，从而通过目标识别检测与目标追踪对高速目标进行有效地检测和持续性的追踪。

Description

基于事件相机的动态高速目标追踪方法及装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于事件相机的动态高速目标追踪方法及装置。
背景技术
随着人工智能的快速发展，目标追踪技术在各个领域受到了广泛关注，例如：交通领域的车辆追踪。通过目标追踪技术，可以及时了解到追踪目标的动向。因此，如何实现及时有效地目标追踪，是目标追踪领域值得关注的问题。
现有技术中，目标追踪是利用智能算法对相机获取的视频中的目标进行连续追踪。具体的，根据输入的沿着时间轴的图像帧序列，基于卷积神经网络提取图像中的目标特征，通过特征对比判断是否为所要跟随的目标。然而，传统相机受限于其成像原理和芯片架构，相比于人眼并不具有高速响应和大动态范围成像等特性，导致其在某些复杂场景下的使用受到限制。例如，当目标物体进行高速移动时，传统相机基于时间积分的成像特性会导致成像模糊；或者在大动态光照的场景下，由于其较小的动态范围，通常只有60dB，导致其无法同时获取亮处和暗处的有效曝光。并且，传统相机对全局信息进行成像，会产生很多无意义的背景冗余信息。
事件相机虽然能够有效地捕捉高速运动的目标，然而由于事件相机的像素是独立异步分布的，与传统的图像帧有很大的差异。目前传统的人工智能算法不能完全适应这种数据形式。
由于传统相机对高速和超高速目标进行成像时会出现残影，或无法获取目标有效信息，以及事件相机数据无法直接与现有的人工智能算法相结合的问题，导致现有目标追踪方法无法对目标进行有效地检测和持续性追踪。
发明内容
本发明提供一种基于事件相机的动态高速目标追踪方法及装置，利用事件相机对高速运动的目标进行捕捉，并对事件相机的原始数据进行处理，解决了现有目标追踪方法无法对目标进行有效地检测和持续性追踪的问题。
为达到上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种基于事件相机的动态高速目标追踪方法，该方法包括：
获取事件相机采集的高速运动场景中的光线亮度变换图，并将所述光线亮度变换图解析为事件帧图像集；所述事件帧图像集包括多个沿时间顺序分布的灰度图；
通过卷积神经网络对所述事件帧图像集中的灰度图进行图像特征提取以及分类回归处理，得到用于识别不同类别目标的多个第一检测框；所述第一检测框包括检测框位置以及检测框置信度；
基于非极大值抑制算法与每个所述第一检测框的检测框置信度，去除重叠程度满足第一预设阈值的第一检测框，得到第二检测框；
根据所述事件帧图像集中当前帧图像与上一帧图像中通过所述第二检测框识别到的多个目标，对所述当前帧图像与所述上一帧图像进行目标关联匹配，以确定多个被跟踪的目标；
根据当前帧图像与上一帧图像中被跟踪的目标，得到所述被跟踪的目标在下一帧图像中的预测位置，通过第二检测框识别得到所述被跟踪的目标在下一帧图像中的实际位置，并根据所述预测位置与所述实际位置的误差大小，确定所述被跟踪的目标是否为同一个追踪目标，得到追踪结果；所述追踪结果包括同一个所述追踪目标在所述上一帧图像、所述当前帧图像以及所述下一帧图像中的实际位置与标识号；
实时获取并显示所述追踪结果。
在一种可能的实现方式中，所述将所述光线亮度变换图解析为事件帧图像集，具体包括：
基于差分成像原理获取多幅所述光线亮度变换图的灰度变换信息；每一个所述灰度变换信息均包括多个事件的触发位置像素坐标值、灰度值以及触发时间；
根据所述灰度变换信息得到对应的灰度矩阵；每一个所述灰度矩阵用于描述一个灰度图，多个沿时间顺序分布的灰度图组成一个事件帧图像集。
在一种可能的实现方式中，所述根据所述灰度变换信息得到对应的灰度矩阵，具体包括：
根据所述事件相机的分辨率构建灰度矩阵，并将所述灰度矩阵的每一个元素的初始值赋值为零；
遍历每一个所述光线亮度变换图中的所有事件，将灰度变化信息中的灰度值赋值给所述灰度矩阵中与所述触发位置像素坐标值对应的每一个元素。
在一种可能的实现方式中，在根据所述事件相机的分辨率构建灰度矩阵，并将所述灰度矩阵的每一个元素的初始值赋值为零之后，所述方法还包括：
判断所述灰度矩阵的每一个元素的值是否小于所述灰度变换信息中对应的灰度值；
若是，则将所述元素的极性赋值为-1；若否，则将所述元素的极性赋值为+1。
在一种可能的实现方式中，基于非极大值抑制算法与每个所述第一检测框的检测框置信度，去除重叠程度满足第一预设阈值的第一检测框，具体包括：
对于同一个类别目标的第一检测框，获取检测框置信度最大的第一检测框；
分别计算所述检测框置信度最大的第一检测框与所述类别目标的其余的第一检测框中的交集与并集的比值；以所述比值表征第一检测框之间的重叠度；
根据所述比值与所述第一预设阈值的大小，删除所述比值大于所述第一预设阈值时其余的第一检测框。
在一种可能的实现方式中，所述根据所述事件帧图像集中当前帧图像与上一帧图像中通过所述第二检测框识别到的多个目标，对所述当前帧图像与所述上一帧图像进行目标关联匹配，具体包括：
对于所述事件帧图像集中的所有灰度图，针对每一个由所述第二检测框识别到的目标，通过特征提取网络提取所述目标的特征向量；所述特征向量用于描述所述目标的外观和运动特性；
通过L2归一化方法将识别到的所有所述目标转换为相同的尺寸；
从所述事件帧图像集第二帧的灰度图开始，计算当前帧图像的目标与上一帧图像的目标的相似度；
基于所述相似度，通过匈牙利算法将所述当前帧图像的目标与所述上一帧图像的目标进行关联匹配。
在一种可能的实现方式中，所述根据当前帧图像与上一帧图像中被跟踪的目标，得到所述被跟踪的目标在下一帧图像中的预测位置，通过第二检测框识别得到所述被跟踪的目标在下一帧图像中的实际位置，并根据所述预测位置与所述实际位置的误差大小，确定所述被跟踪的目标是否为同一个追踪目标，具体为：
针对每一个所述被跟踪的目标，通过卡尔曼滤波器估计出所述被跟踪的目标的状态信息，并根据所述状态信息预测得到每一个所述被跟踪的目标在所述下一帧图像中的预测位置；所述状态信息包括所述被跟踪目标的位置、速度以及加速度；
通过第二检测框识别所述下一帧图像中所述被跟踪的目标，并获取所述被跟踪的目标的实际位置；
当所述实际位置与所述预测位置的误差小于预设阈值时，确定所述被跟踪的目标为同一个追踪目标。
在一种可能的实现方式中，在所述确定多个被跟踪的目标之后，所述方法还包括：
在首次确定每一个被跟踪的目标之后，为所述被跟踪的目标创建对应的跟踪器；所述跟踪器用于管理所述被跟踪的目标的特征向量与状态信息。
在一种可能的实现方式中，在所述通过卷积神经网络对所述事件帧图像集中的灰度图进行图像特征提取以及分类回归处理之前，所述方法还包括：
对所述事件帧图像集中包括的多个所述灰度图进行去噪处理；
对经过去噪处理后的多个所述灰度图进行分辨率调整，以使多个所述灰度图的分辨率相同。
第二方面，本发明提供一种基于事件相机的动态高速目标追踪装置，包括：
数据采集模块，用于获取事件相机采集的高速运动场景中的光线亮度变换图，并将所述光线亮度变换图解析为事件帧图像集；所述事件帧图像集包括多个沿时间顺序分布的灰度图；
第一检测模块，用于通过卷积神经网络对所述事件帧图像集中的灰度图进行图像特征提取以及分类回归处理，得到用于识别不同类别目标的多个第一检测框；所述第一检测框包括检测框位置以及检测框置信度；
第二检测模块，用于基于非极大值抑制算法与每个所述第一检测框的检测框置信度，去除重叠程度满足第一预设阈值的第一检测框，得到第二检测框；
第一追踪模块，用于根据所述事件帧图像集中当前帧图像与上一帧图像中通过所述第二检测框识别到的多个目标，对所述当前帧图像与所述上一帧图像进行目标关联匹配，以确定多个被跟踪的目标；
第二追踪模块，用于根据当前帧图像与上一帧图像中被跟踪的目标，得到所述被跟踪的目标在下一帧图像中的预测位置，通过第二检测框识别得到所述被跟踪的目标在下一帧图像中的实际位置，并根据所述预测位置与所述实际位置的误差大小，确定所述被跟踪的目标是否为同一个追踪目标，得到追踪结果；所述追踪结果包括同一个所述追踪目标在所述上一帧图像、所述当前帧图像以及所述下一帧图像中的实际位置与标识号；
数据可视化模块，用于实时获取并显示所述追踪结果。
在一种可能的实现方式中，所述数据采集模块具体被配置为执行：
获取事件相机采集的高速运动场景中的光线亮度变换图，基于差分成像原理获取多幅所述光线亮度变换图的灰度变换信息；每一个所述灰度变换信息均包括多个事件的触发位置像素坐标值、灰度值以及触发时间；
根据所述灰度变换信息得到对应的灰度矩阵；每一个所述灰度矩阵用于描述一个灰度图，多个沿时间顺序分布的灰度图组成一个事件帧图像集。
在一种可能的实现方式中，在根据所述灰度变换信息得到对应的灰度矩阵时，所述数据采集模块具体被配置为执行：
根据所述事件相机的分辨率构建灰度矩阵，并将所述灰度矩阵的每一个元素的初始值赋值为零；
遍历每一个所述光线亮度变换图中的所有事件，将灰度变化信息中的灰度值赋值给所述灰度矩阵中与所述触发位置像素坐标值对应的每一个元素。
在一种可能的实现方式中，在根据所述事件相机的分辨率构建灰度矩阵，并将所述灰度矩阵的每一个元素的初始值赋值为零之后，所述数据采集模块还被配置为执行：
判断所述灰度矩阵的每一个元素的值是否小于所述灰度变换信息中对应的灰度值；
若是，则将所述元素的极性赋值为-1；若否，则将所述元素的极性赋值为+1。
在一种可能的实现方式中，所述第二检测模块具体被配置为执行：
对于同一个类别目标的第一检测框，获取检测框置信度最大的第一检测框；
分别计算所述检测框置信度最大的第一检测框与所述类别目标的其余的第一检测框中的交集与并集的比值；以所述比值表征第一检测框之间的重叠度；
根据所述比值与所述第一预设阈值的大小，删除所述比值大于所述第一预设阈值时其余的第一检测框。
在一种可能的实现方式中，所述第一追踪模块具体被配置为执行：
对于所述事件帧图像集中的所有灰度图，针对每一个由所述第二检测框识别到的目标，通过特征提取网络提取所述目标的特征向量；所述特征向量用于描述所述目标的外观和运动特性；
通过L2归一化方法将识别到的所有所述目标转换为相同的尺寸；
从所述事件帧图像集第二帧的灰度图开始，计算当前帧图像的目标与上一帧图像的目标的相似度；
基于所述相似度，通过匈牙利算法将所述当前帧图像的目标与所述上一帧图像的目标进行关联匹配。
在一种可能的实现方式中，所述第二追踪模块具体被配置为执行：
针对每一个所述被跟踪的目标，通过卡尔曼滤波器估计出所述被跟踪的目标的状态信息，并根据所述状态信息预测得到每一个所述被跟踪的目标在所述下一帧图像中的预测位置；所述状态信息包括所述被跟踪目标的位置、速度以及加速度；
通过第二检测框识别所述下一帧图像中所述被跟踪的目标，并获取所述被跟踪的目标的实际位置；
当所述实际位置与所述预测位置的误差小于预设阈值时，确定所述被跟踪的目标为同一个追踪目标。
在一种可能的实现方式中，在所述确定多个被跟踪的目标之后，所述第二追踪模块还被配置为执行：
在首次确定每一个被跟踪的目标之后，为所述被跟踪的目标创建对应的跟踪器；所述跟踪器用于管理所述被跟踪的目标的特征向量与状态信息。
在一种可能的实现方式中，所述目标追踪装置还包括预处理模块，在所述通过卷积神经网络对所述事件帧图像集中的灰度图进行图像特征提取以及分类回归处理之前，所述预处理模块被配置为执行：
对所述事件帧图像集中包括的多个所述灰度图进行去噪处理；
对经过去噪处理后的多个所述灰度图进行分辨率调整，以使多个所述灰度图的分辨率相同。
第三方面，本发明提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器种存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一项所述的基于事件相机的动态高速目标追踪方法。
第四方面，本发明提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任一项所述的基于事件相机的动态高速目标追踪方法。
本发明实施例提供的基于事件相机的动态高速目标追踪方法，通过事件相机采集高速运动场景中的光线亮度变换图，并将其解析为事件帧图像集；通过卷积神经网络对所述事件帧图像集中的灰度图进行图像特征提取以及分类回归处理，得到用于识别不同类别目标的多个第一检测框；通过非极大值抑制算法与每个第一检测框的检测框置信度，剔除重叠程度较高的第一检测框，得到第二检测框；根据所述事件帧图像集中当前帧图像与上一帧图像中通过所述第二检测框识别到的多个目标，对所述当前帧图像与所述上一帧图像进行目标关联匹配，从而确定多个被跟踪的目标；根据当前帧图像与上一帧图像中被跟踪的目标，得到所述被跟踪的目标在下一帧图像中的预测位置，通过第二检测框识别得到所述被跟踪的目标在下一帧图像中的实际位置，之后根据预测位置与所述实际位置的误差大小，确定所述被跟踪的目标是否为同一个追踪目标，得到追踪结果；本方案通过事件相机获取高速运动的目标的光线亮度变换图，通过对获取的光线亮度变换图进行处理，可以获得传统相机帧率几百倍的高帧率的事件帧图像，而这些事件帧图像成像清晰，解决了传统相机对高速和超高速目标进行成像时出现残影，或无法获取目标有效信息的问题；本方案中在获得第一检测框之后，通过非极大值抑制算法与第一检测框的检测框置信度去除了高度重叠的检测框，在目标追踪过程中还通过预测位置与实际位置的误差进一步判断被跟踪的目标是否为同一个目标，以提高目标检测和追踪结果的准确度；且目标追踪是基于事件帧图像集中相邻的灰度图实现的，以对目标进行持续性的追踪。
附图说明
图1为本发明实施例提供的第一种基于事件相机的动态高速目标追踪方法的步骤流程图；
图2为本发明实施例提供的解析得到的事件帧图像集中的一幅灰度图；
图3为本发明实施例提供的第二种基于事件相机的动态高速目标追踪方法的步骤流程图；
图4为本发明实施例提供的一种基于事件相机的动态高速目标追踪装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。另外，“基于”或“根据”的使用意味着开放和包容性，因为“基于”或“根据”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。
由于传统相机对高速和超高速目标进行成像时会出现残影，或无法获取目标有效信息，以及事件相机数据无法直接与现有的人工智能算法相结合的问题，导致现有目标追踪方法无法对目标进行有效地检测和持续性追踪。
为了解决上述问题，本发明实施例提供了一种基于事件相机的动态高速目标追踪方法及装置。
图1为本发明实施例提供的第一种基于事件相机的动态高速目标追踪方法的步骤流程图。如图1所示，第一方面，本发明提供了第一种基于事件相机的动态高速目标追踪方法，该方法包括：
步骤101、获取事件相机采集的高速运动场景中的光线亮度变换图，并将光线亮度变换图解析为事件帧图像集。
其中，事件帧图像集包括多个沿时间顺序分布的灰度图。
事件相机是一种基于生物视觉的新型传感器，与传统相机有很大的不同。事件相机的工作原理类似于人眼，它能快速、准确地捕捉环境中发生的变换，并输出像素级亮度的变换。与传统相机不同，事件相机不是通过在固定时间间隔内捕捉连续的图像帧来捕捉场景地变换，而是通过对场景中的每一个像素进行独立的时间变化监测来获取场景的变化信息，因此，事件相机具有高帧率、低功耗、低数据存储需求和高动态范围等特点。此外，由于事件相机只记录场景发生的变化，而不是整个场景的图像，因此可以大幅改善图像中出现的运动模糊的问题。
光线亮度变换图是指事件相机对场景中的每一个像素进行时间变化监测得到的场景变化信息的像素级亮度变化的彩色图像。
图2为本发明实施例提供的解析得到的事件帧图像集中的一幅灰度图。如图2所示，解析得到的灰度图中只包含场景中运动的目标的信息，不会出现额外的背景信息，在图2中，运动的目标为人手，只能看到人手的轮廓，不能看到多余的背景信息。
也就是说，当事件相机的拍摄视野内不存在运动的物体作为目标时，解析得到的灰度图中，除了少数噪声以外，不会有任何信息输出。
步骤102、通过卷积神经网络对事件帧图像集中的灰度图进行图像特征提取以及分类回归处理，得到用于识别不同类别目标的多个第一检测框。
其中，第一检测框包括检测框位置以及检测框置信度。
卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。
通过卷积神经网络能够在感受野内对图像特征进行提取，接收和响应不同感受野返回的相同特征，并进行特征提取和筛选；分类回归处理通过为类别指定数值来量化分类数据，从而对不同的图像特征进行分类。
通过第一检测框识别灰度图中的不同类别的目标，得到多个第一检测框。
在本实施例中，通过卷积和池化层进行下采样和特征融合，将浅层信息和深层语义信息融合，得到包含丰富的目标信息的有效特征图。
对有效特征图进行位置和类别回归分类处理，得到多组预测向量，通过预测向量对第一检测框进行描述，预测向量中包括检测框位置、预测框大小、预测框类别以及检测框置信度。
步骤103、基于非极大值抑制算法与每个第一检测框的检测框置信度，去除重叠程度满足第一预设阈值的第一检测框，得到第二检测框。
具体的，由于通过第一检测框对不同类别目标进行识别时，同一个目标可能会被多个第一检测框同时识别，因此，我们需要剔除掉同一个目标识别中重复的检测框。
而在本实施例中，采用非极大值抑制算法对第一检测框的检测框置信度进行处理，通过第一预设阈值作为筛选条件，剔除掉高度重叠的检测框。
进一步的，基于非极大值抑制算法与每个第一检测框的检测框置信度，去除重叠程度满足第一预设阈值的第一检测框，具体包括：
步骤1031、对于同一个类别目标的第一检测框，获取检测框置信度最大的第一检测框。
具体的，对于同一个类别的第一检测框，比较并筛选出其中检测框置信度最大的第一检测框。
步骤1032、分别计算检测框置信度最大的第一检测框与类别目标的其余的第一检测框中的交集与并集的比值，以比值表征第一检测框之间的重叠度。
具体的，计算筛选出的检测框置信度最大的第一检测框与同类别的其余第一检测框中交集与并集的比值，即交并比。
步骤1033、根据比值与第一预设阈值的大小，删除比值大于第一预设阈值时其余的第一检测框。
具体的，如果交集与并集的比值大于第一预设阈值，则删除对应的第一检测框，并继续对剩下的第一检测框执行步骤1032的操作，直至处理完所有第一检测框。
在本实施例中第一预设阈值取0.5。
步骤104、根据事件帧图像集中当前帧图像与上一帧图像中通过第二检测框识别到的多个目标，对当前帧图像与上一帧图像进行目标关联匹配，以确定多个被跟踪的目标。
具体的，由于当前帧图像与上一帧图像均为解析得到的灰度图像，因此，通过第二检测框可以识别到当前帧图像与上一帧图像中的所有目标，对相邻两帧的目标进行关联匹配，可以确定当前帧图像中与上一帧图像中相同的目标，这些相同的目标即被跟踪的目标。
进一步的，根据事件帧图像集中当前帧图像与上一帧图像中通过第二检测框识别到的多个目标，对当前帧图像与上一帧图像进行目标关联匹配，具体包括：
步骤1041、对于事件帧图像集中的所有灰度图，针对每一个由第二检测框识别到的目标，通过特征提取网络提取目标的特征向量。
其中，特征向量用于描述目标的外观和运动特性。
对于通过第二检测框识别到的每一个目标，通过特征提取网络得到该目标的特征向量，并通过该特征向量描述该目标的外观和运动特性。
在本实施例中，特征提取网络采用CNN主干特征提取网络。
步骤1042、通过L2归一化方法将识别到的所有目标转换为相同的尺寸。
具体的，为了能够更好的对目标进行关联及后续的追踪处理，将所有识别到的目标转换为统一的尺寸，提高目标追踪的准确性。
步骤1043、从事件帧图像集第二帧的灰度图开始，计算当前帧图像的目标与上一帧图像的目标的相似度。
具体的，通过余弦相似度算法或欧式距离算法计算得到当前帧图像的目标与上一帧图像的目标的相似度。
其中，余弦相似度算法通过测量当前帧图像的目标的特征向量与上一帧图像的目标的特征向量的夹角的余弦值来度量两个目标之间的相似度。
在当前帧图像的目标A与上一帧图像的目标B在坐标图中被当作点时，两者的相似度为距离dist(A，B)，可通过欧式距离算法对相似度进行计算。
步骤1044、基于相似度，通过匈牙利算法将当前帧图像的目标与上一帧图像的目标进行关联匹配。
具体的，匈牙利算法是一种在多项式内求解任务分配问题的组合优化算法，通过匈牙利算法可以对上一帧图像的目标与当前帧图像中的目标进行最优匹配。
步骤105、根据当前帧图像与上一帧图像中被跟踪的目标，得到被跟踪的目标在下一帧图像中的预测位置，通过第二检测框识别得到被跟踪的目标在下一帧图像中的实际位置，并根据预测位置与实际位置的误差大小，确定被跟踪的目标是否为同一个追踪目标，得到追踪结果。
其中，追踪结果包括同一个追踪目标在上一帧图像、当前帧图像以及下一帧图像中的实际位置与标识号。
具体的，根据当前帧图像与上一帧图像中被跟踪的目标，可以得到目标的外观特征及运动趋势，根据目标的外观特征及运动趋势，可以预测该目标在下一帧图像中的会出现的预测位置。
通过第二检测框可以直接识别得到下一帧图像中所有被跟踪的目标出现的实际位置。
根据预测位置与实际位置的误差大小，可以确定下一帧图像中出现的目标与当前帧图像中被跟踪的目标是否是同一个目标，并且对同一个目标以相同的标识号进行标识，以便与其他目标进行区分。
进一步的，根据当前帧图像与上一帧图像中被跟踪的目标，得到被跟踪的目标在下一帧图像中的预测位置，通过第二检测框识别得到被跟踪的目标在下一帧图像中的实际位置，并根据预测位置与实际位置的误差大小，确定被跟踪的目标是否为同一个追踪目标，具体包括：
步骤1051、针对每一个被跟踪的目标，通过卡尔曼滤波器估计出被跟踪的目标的状态信息，并根据状态信息预测得到每一个被跟踪的目标在下一帧图像中的预测位置。
其中，状态信息包括被跟踪目标的位置、速度以及加速度。
卡尔曼滤波器指卡尔曼滤波，是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。
根据每一个目标在上一帧图像与当前帧图像中的实际位置与运动状态，可以估计得到下一帧图像中该目标的预测位置。
步骤1052、通过第二检测框识别下一帧图像中被跟踪的目标，并获取被跟踪的目标的实际位置。
具体的，通过第二检测框可以直接识别得到被跟踪的目标的实际位置。
步骤1053、当实际位置与预测位置的误差小于预设阈值时，确定被跟踪的目标为同一个追踪目标。
具体的，在对目标进行追踪时，同一种类可能会识别到多个目标，为了避免将同一种类的不同目标误认为是同一个目标进行追踪，我们通过预测位置与实际位置的误差大小来判断被跟踪的目标是否为同一个目标，若误差超过了预设阈值，则说明追踪的目标不是同一个目标。
步骤106、实时获取并显示追踪结果。
具体的，获取的追踪结果以轨迹图的方式在显示屏上实时显示。
进一步的，在确定多个被跟踪的目标之后，方法还包括：
在首次确定每一个被跟踪的目标之后，为被跟踪的目标创建对应的跟踪器；跟踪器用于管理被跟踪的目标的特征向量与状态信息。
具体的，为每个被追踪的目标维护一个跟踪器，跟踪器还负责管理该目标的外观特征和运动趋势，跟踪器的编号与目标的标识号一一对应。
若在预设时间段内一直未检测到对应的目标，则在跟踪器处将该目标标记为失踪，并停止跟踪该目标。
若检测到一个新的目标，则为该目标创建一个新的跟踪器。
本发明实施例提供的基于事件相机的动态高速目标追踪方法，通过事件相机采集高速运动场景中的光线亮度变换图，并将其解析为事件帧图像集；通过卷积神经网络对事件帧图像集中的灰度图进行图像特征提取以及分类回归处理，得到用于识别不同类别目标的多个第一检测框；通过非极大值抑制算法与每个第一检测框的检测框置信度，剔除重叠程度较高的第一检测框，得到第二检测框；根据事件帧图像集中当前帧图像与上一帧图像中通过第二检测框识别到的多个目标，对当前帧图像与上一帧图像进行目标关联匹配，从而确定多个被跟踪的目标；根据当前帧图像与上一帧图像中被跟踪的目标，得到被跟踪的目标在下一帧图像中的预测位置，通过第二检测框识别得到被跟踪的目标在下一帧图像中的实际位置，之后根据预测位置与实际位置的误差大小，确定被跟踪的目标是否为同一个追踪目标，得到追踪结果；本方案通过事件相机获取高速运动的目标的光线亮度变换图，通过对获取的光线亮度变换图进行处理，可以获得传统相机帧率几百倍的高帧率的事件帧图像，而这些事件帧图像成像清晰，解决了传统相机对高速和超高速目标进行成像时出现残影，或无法获取目标有效信息的问题；本方案中在获得第一检测框之后，通过非极大值抑制算法与第一检测框的检测框置信度去除了高度重叠的检测框，在目标追踪过程中还通过预测位置与实际位置的误差进一步判断被跟踪的目标是否为同一个目标，以提高目标检测和追踪结果的准确度；且目标追踪是基于事件帧图像集中相邻的灰度图实现的，以对目标进行持续性的追踪。
图3为本发明实施例提供的第二种基于事件相机的动态高速目标追踪方法的步骤流程图。如图3所示，本发明实施例还提供了第二种基于事件相机的动态高速目标追踪方法，该方法包括：
步骤301、获取事件相机采集的高速运动场景中的光线亮度变换图，基于差分成像原理获取多幅光线亮度变换图的灰度变换信息。
其中，每一个灰度变换信息均包括多个事件的触发位置像素坐标值、灰度值以及触发时间。
具体的，通过事件相机的镜头采集M幅高速运动场景中的光线亮度变换图P＝{Pi|0<i≤M}，其中，Pi表示第i幅图像，M为整数，且M>1。
事件相机成像芯片基于差分成像原理可以感知目标图像Pi的灰度信息变化，得到多幅光线亮度变换图的灰度变换信息。
其中，灰度变换信息以S表示，S＝{Si|0<i≤M}，其中Si表示Pi对应的灰度变换信息；且Si＝{ci,j＝(xi,j,yi,j,gi,j,ti,j)|0<j≤Ni}，Ni>0，Ni表示Pi中每幅图像包括的事件的数量，ci,j表示第j个事件，xi,j和yi,j分别表示ci,j的触发位置像素的横坐标和纵坐标，gi,j表示ci,j的灰度值，gi,j≥0，ti,j表示ci,j的触发时间。
步骤302、根据灰度变换信息得到对应的灰度矩阵。
其中，每一个灰度矩阵用于描述一个灰度图，多个沿时间顺序分布的灰度图组成一个事件帧图像集。
具体的，根据灰度变换信息S，可以将灰度变换信息转换为对应的灰度矩阵，灰度矩阵中的每一个元素表示一个像素点，每一个灰度矩阵可以表示如图2所示的一个灰度图。
进一步的，根据灰度变换信息得到对应的灰度矩阵，具体包括：
S3021、根据事件相机的分辨率构建灰度矩阵，并将灰度矩阵的每一个元素的初始值赋值为零。
具体的，构建灰度矩阵M1＝z(H，W)，令M1中的每一个元素m＝0。其中H和W分别表示相机分辨率，在本实施例中，H≥128,W≥128。
S3022、判断灰度矩阵的每一个元素的值是否小于灰度变换信息中对应的灰度值；若是，则将元素的极性赋值为-1；若否，则将元素的极性赋值为+1。
具体的，元素的极性以pi,j表示，判断gi,j>mxi,j,yi,j是否成立；若是，则令pi,j＝+1；若否，则令pi,j＝-1，其中
Figure BDA0004146802330000141
表示灰度矩阵M1中与ci,j对应位置的元素。
S3023、遍历每一个光线亮度变换图中的所有事件，将灰度变化信息中的灰度值赋值给灰度矩阵中与触发位置像素坐标值对应的每一个元素。
具体的，令
Figure BDA0004146802330000142
并判断j<Ni是否成立；若是，则令j＝j+1，并执行S3022；若否，则得到解析后对应的灰度图。其中，通过地址事件数据流Ei＝{ei,j＝(xi,j,yi,j,pi,j,ti,j)|0<i≤Ni}来表示该灰度图，ei,j为ci,j的解析结果，pi,j表示ei,j的极性，在S3022之前，令i＝1，j＝1。
判断i<M是否成立，若成立，令i＝i+1，令j＝1，并执行S3022；若否，则输出解析后得到的事件帧图像集。
步骤303、对事件帧图像集中包括的多个灰度图进行去噪处理。
具体的，当每一个灰度图中的任意一个事件发生后周围一个空间窗口，即该事件周围的8个像素中短时间内发生的事件为噪声，去除该事件周围的噪音。对该灰度图内的所有事件进行同样的去噪操作，得到去噪后的灰度图。
步骤304、对经过去噪处理后的多个灰度图进行分辨率调整，以使多个灰度图的分辨率相同。
具体的，对每一个灰度图进行下采样，得到包含目标信息的预设分辨率大小的灰度图。
步骤305、通过卷积神经网络对事件帧图像集中的灰度图进行图像特征提取以及分类回归处理，得到用于识别不同类别目标的多个第一检测框。
在本发明实施例中，步骤305可以参考步骤102，此处不再赘述。
步骤306、基于非极大值抑制算法与每个第一检测框的检测框置信度，去除重叠程度满足第一预设阈值的第一检测框，得到第二检测框。
在本发明实施例中，步骤306可以参考步骤103，此处不再赘述。
步骤307、根据事件帧图像集中当前帧图像与上一帧图像中通过第二检测框识别到的多个目标，对当前帧图像与上一帧图像进行目标关联匹配，以确定多个被跟踪的目标。
在本发明实施例中，步骤307可以参考步骤104，此处不再赘述。
步骤308、根据当前帧图像与上一帧图像中被跟踪的目标，得到被跟踪的目标在下一帧图像中的预测位置，通过第二检测框识别得到被跟踪的目标在下一帧图像中的实际位置，并根据预测位置与实际位置的误差大小，确定被跟踪的目标是否为同一个追踪目标，得到追踪结果。
在本发明实施例中，步骤308可以参考步骤105，此处不再赘述。
步骤309、实时获取并显示追踪结果。
在本发明实施例中，步骤309可以参考步骤106，此处不再赘述。
本发明实施例提供的基于事件相机的动态高速目标追踪方法在应用时，由于事件相机的动态范围通常是传统相机的两倍，即使在光照强度特别高或特别低的情况下，仍然能够对运动的目标进行实时捕捉，得到光线亮度变换图；通过对光线亮度变换图进行解析，可以得到剔除了复杂的背景信息后清晰的灰度图。因此，本发明在光线强度特别高或特别低时，仍然能够对运动目标进行实时捕捉和连续跟踪；本发明在对目标追踪之前，剔除了图像的背景信息，不仅降低了图像处理的数据量，而且提高了目标识别的准确性。
图4为本发明实施例提供的一种基于事件相机的动态高速目标追踪装置的结构框图。如图4所示，第二方面，本发明提供一种基于事件相机的动态高速目标追踪装置，该装置包括：
数据采集模块401，用于获取事件相机采集的高速运动场景中的光线亮度变换图，并将光线亮度变换图解析为事件帧图像集；事件帧图像集包括多个沿时间顺序分布的灰度图；
第一检测模块402，用于通过卷积神经网络对事件帧图像集中的灰度图进行图像特征提取以及分类回归处理，得到用于识别不同类别目标的多个第一检测框；第一检测框包括检测框位置以及检测框置信度；
第二检测模块403，用于基于非极大值抑制算法与每个第一检测框的检测框置信度，去除重叠程度满足第一预设阈值的第一检测框，得到第二检测框；
第一追踪模块404，用于根据事件帧图像集中当前帧图像与上一帧图像中通过第二检测框识别到的多个目标，对当前帧图像与上一帧图像进行目标关联匹配，以确定多个被跟踪的目标；
第二追踪模块405，用于根据当前帧图像与上一帧图像中被跟踪的目标，得到被跟踪的目标在下一帧图像中的预测位置，通过第二检测框识别得到被跟踪的目标在下一帧图像中的实际位置，并根据预测位置与实际位置的误差大小，确定被跟踪的目标是否为同一个追踪目标，得到追踪结果；追踪结果包括同一个追踪目标在上一帧图像、当前帧图像以及下一帧图像中的实际位置与标识号；
数据可视化模块406，用于实时获取并显示追踪结果。
进一步的，数据采集模块401具体被配置为执行：
获取事件相机采集的高速运动场景中的光线亮度变换图，基于差分成像原理获取多幅光线亮度变换图的灰度变换信息；每一个灰度变换信息均包括多个事件的触发位置像素坐标值、灰度值以及触发时间；
根据灰度变换信息得到对应的灰度矩阵；每一个灰度矩阵用于描述一个灰度图，多个沿时间顺序分布的灰度图组成一个事件帧图像集。
进一步的，在根据灰度变换信息得到对应的灰度矩阵时，数据采集模块401具体被配置为执行：
根据事件相机的分辨率构建灰度矩阵，并将灰度矩阵的每一个元素的初始值赋值为零；
遍历每一个光线亮度变换图中的所有事件，将灰度变化信息中的灰度值赋值给灰度矩阵中与触发位置像素坐标值对应的每一个元素.
进一步的，在根据事件相机的分辨率构建灰度矩阵，并将灰度矩阵的每一个元素的初始值赋值为零之后，数据采集模块401还被配置为执行：
判断灰度矩阵的每一个元素的值是否小于灰度变换信息中对应的灰度值；
若是，则将元素的极性赋值为-1；若否，则将元素的极性赋值为+1。
进一步的，第二检测模块403具体被配置为执行：
对于同一个类别目标的第一检测框，获取检测框置信度最大的第一检测框；
分别计算检测框置信度最大的第一检测框与类别目标的其余的第一检测框中的交集与并集的比值；以比值表征第一检测框之间的重叠度；
根据比值与第一预设阈值的大小，删除比值大于第一预设阈值时其余的第一检测框。
进一步的，第一追踪模块404具体被配置为执行：
对于事件帧图像集中的所有灰度图，针对每一个由第二检测框识别到的目标，通过特征提取网络提取目标的特征向量；特征向量用于描述目标的外观和运动特性；
通过L2归一化方法将识别到的所有目标转换为相同的尺寸；
从事件帧图像集第二帧的灰度图开始，计算当前帧图像的目标与上一帧图像的目标的相似度；
基于相似度，通过匈牙利算法将当前帧图像的目标与上一帧图像的目标进行关联匹配。
进一步的，第二追踪模块405具体被配置为执行：
针对每一个被跟踪的目标，通过卡尔曼滤波器估计出被跟踪的目标的状态信息，并根据状态信息预测得到每一个被跟踪的目标在下一帧图像中的预测位置；状态信息包括被跟踪目标的位置、速度以及加速度；
通过第二检测框识别下一帧图像中被跟踪的目标，并获取被跟踪的目标的实际位置；
当实际位置与预测位置的误差小于预设阈值时，确定被跟踪的目标为同一个追踪目标。
进一步的，在确定多个被跟踪的目标之后，第二追踪模块405还被配置为执行：
在首次确定每一个被跟踪的目标之后，为被跟踪的目标创建对应的跟踪器；跟踪器用于管理被跟踪的目标的特征向量与状态信息。
进一步的，目标追踪装置还包括预处理模块，在通过卷积神经网络对事件帧图像集中的灰度图进行图像特征提取以及分类回归处理之前，预处理模块被配置为执行：
对事件帧图像集中包括的多个灰度图进行去噪处理；
对经过去噪处理后的多个灰度图进行分辨率调整，以使多个灰度图的分辨率相同。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
第三方面，本发明提供一种电子设备，电子设备包括处理器和存储器，存储器种存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述任一项的基于事件相机的动态高速目标追踪方法.
第四方面，本发明提供一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述任一项的基于事件相机的动态高速目标追踪方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于事件相机的动态高速目标追踪方法，其特征在于，包括：
获取事件相机采集的高速运动场景中的光线亮度变换图，并将所述光线亮度变换图解析为事件帧图像集；所述事件帧图像集包括多个沿时间顺序分布的灰度图；
通过卷积神经网络对所述事件帧图像集中的灰度图进行图像特征提取以及分类回归处理，得到用于识别不同类别目标的多个第一检测框；所述第一检测框包括检测框位置以及检测框置信度；
基于非极大值抑制算法与每个所述第一检测框的检测框置信度，去除重叠程度满足第一预设阈值的第一检测框，得到第二检测框；
根据所述事件帧图像集中当前帧图像与上一帧图像中通过所述第二检测框识别到的多个目标，对所述当前帧图像与所述上一帧图像进行目标关联匹配，以确定多个被跟踪的目标；
根据当前帧图像与上一帧图像中被跟踪的目标，得到所述被跟踪的目标在下一帧图像中的预测位置，通过第二检测框识别得到所述被跟踪的目标在下一帧图像中的实际位置，并根据所述预测位置与所述实际位置的误差大小，确定所述被跟踪的目标是否为同一个追踪目标，得到追踪结果；所述追踪结果包括同一个所述追踪目标在所述上一帧图像、所述当前帧图像以及所述下一帧图像中的实际位置与标识号；
实时获取并显示所述追踪结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述光线亮度变换图解析为事件帧图像集，具体包括：
基于差分成像原理获取多幅所述光线亮度变换图的灰度变换信息；每一个所述灰度变换信息均包括多个事件的触发位置像素坐标值、灰度值以及触发时间；
根据所述灰度变换信息得到对应的灰度矩阵；每一个所述灰度矩阵用于描述一个灰度图，多个沿时间顺序分布的灰度图组成一个事件帧图像集。
3.根据权利要求2所述的方法，其特征在于，所述根据所述灰度变换信息得到对应的灰度矩阵，具体包括：
根据所述事件相机的分辨率构建灰度矩阵，并将所述灰度矩阵的每一个元素的初始值赋值为零；
遍历每一个所述光线亮度变换图中的所有事件，将灰度变化信息中的灰度值赋值给所述灰度矩阵中与所述触发位置像素坐标值对应的每一个元素。
4.根据权利要求3所述的方法，其特征在于，在根据所述事件相机的分辨率构建灰度矩阵，并将所述灰度矩阵的每一个元素的初始值赋值为零之后，所述方法还包括：
判断所述灰度矩阵的每一个元素的值是否小于所述灰度变换信息中对应的灰度值；
若是，则将所述元素的极性赋值为-1；若否，则将所述元素的极性赋值为+1。
5.根据权利要求1所述的方法，其特征在于，基于非极大值抑制算法与每个所述第一检测框的检测框置信度，去除重叠程度满足第一预设阈值的第一检测框，具体包括：
对于同一个类别目标的第一检测框，获取检测框置信度最大的第一检测框；
分别计算所述检测框置信度最大的第一检测框与所述类别目标的其余的第一检测框中的交集与并集的比值；以所述比值表征第一检测框之间的重叠度；
根据所述比值与所述第一预设阈值的大小，删除所述比值大于所述第一预设阈值时其余的第一检测框。
6.根据权利要求1所述的方法，其特征在于，所述根据所述事件帧图像集中当前帧图像与上一帧图像中通过所述第二检测框识别到的多个目标，对所述当前帧图像与所述上一帧图像进行目标关联匹配，具体包括：
对于所述事件帧图像集中的所有灰度图，针对每一个由所述第二检测框识别到的目标，通过特征提取网络提取所述目标的特征向量；所述特征向量用于描述所述目标的外观和运动特性；
通过L2归一化方法将识别到的所有所述目标转换为相同的尺寸；
从所述事件帧图像集第二帧的灰度图开始，计算当前帧图像的目标与上一帧图像的目标的相似度；
基于所述相似度，通过匈牙利算法将所述当前帧图像的目标与所述上一帧图像的目标进行关联匹配。
7.根据权利要求6所述的方法，其特征在于，所述根据当前帧图像与上一帧图像中被跟踪的目标，得到所述被跟踪的目标在下一帧图像中的预测位置，通过第二检测框识别得到所述被跟踪的目标在下一帧图像中的实际位置，并根据所述预测位置与所述实际位置的误差大小，确定所述被跟踪的目标是否为同一个追踪目标，具体为：
针对每一个所述被跟踪的目标，通过卡尔曼滤波器估计出所述被跟踪的目标的状态信息，并根据所述状态信息预测得到每一个所述被跟踪的目标在所述下一帧图像中的预测位置；所述状态信息包括所述被跟踪目标的位置、速度以及加速度；
通过第二检测框识别所述下一帧图像中所述被跟踪的目标，并获取所述被跟踪的目标的实际位置；
当所述实际位置与所述预测位置的误差小于预设阈值时，确定所述被跟踪的目标为同一个追踪目标。
8.根据权利要求7所述的方法，其特征在于，在所述确定多个被跟踪的目标之后，所述方法还包括：
在首次确定每一个被跟踪的目标之后，为所述被跟踪的目标创建对应的跟踪器；所述跟踪器用于管理所述被跟踪的目标的特征向量与状态信息。
9.根据权利要求1所述的方法，其特征在于，在所述通过卷积神经网络对所述事件帧图像集中的灰度图进行图像特征提取以及分类回归处理之前，所述方法还包括：
对所述事件帧图像集中包括的多个所述灰度图进行去噪处理；
对经过去噪处理后的多个所述灰度图进行分辨率调整，以使多个所述灰度图的分辨率相同。
10.一种基于事件相机的动态高速目标追踪装置，其特征在于，包括：
数据采集模块，用于获取事件相机采集的高速运动场景中的光线亮度变换图，并将所述光线亮度变换图解析为事件帧图像集；所述事件帧图像集包括多个沿时间顺序分布的灰度图；
第一检测模块，用于通过卷积神经网络对所述事件帧图像集中的灰度图进行图像特征提取以及分类回归处理，得到用于识别不同类别目标的多个第一检测框；所述第一检测框包括检测框位置以及检测框置信度；
第二检测模块，用于基于非极大值抑制算法与每个所述第一检测框的检测框置信度，去除重叠程度满足第一预设阈值的第一检测框，得到第二检测框；
第一追踪模块，用于根据所述事件帧图像集中当前帧图像与上一帧图像中通过所述第二检测框识别到的多个目标，对所述当前帧图像与所述上一帧图像进行目标关联匹配，以确定多个被跟踪的目标；
第二追踪模块，用于根据当前帧图像与上一帧图像中被跟踪的目标，得到所述被跟踪的目标在下一帧图像中的预测位置，通过第二检测框识别得到所述被跟踪的目标在下一帧图像中的实际位置，并根据所述预测位置与所述实际位置的误差大小，确定所述被跟踪的目标是否为同一个追踪目标，得到追踪结果；所述追踪结果包括同一个所述追踪目标在所述上一帧图像、所述当前帧图像以及所述下一帧图像中的实际位置与标识号；
数据可视化模块，用于实时获取并显示所述追踪结果。
CN202310305755.1A 2023-03-24 2023-03-24 基于事件相机的动态高速目标追踪方法及装置 Pending CN116402852A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310305755.1A CN116402852A (zh) 2023-03-24 2023-03-24 基于事件相机的动态高速目标追踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310305755.1A CN116402852A (zh) 2023-03-24 2023-03-24 基于事件相机的动态高速目标追踪方法及装置

Publications (1)

Publication Number Publication Date
CN116402852A true CN116402852A (zh) 2023-07-07

Family

ID=87019135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310305755.1A Pending CN116402852A (zh) 2023-03-24 2023-03-24 基于事件相机的动态高速目标追踪方法及装置

Country Status (1)

Country Link
CN (1) CN116402852A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883648A (zh) * 2023-09-06 2023-10-13 南方电网数字电网研究院有限公司 一种异物检测方法、装置、电子设备及存储介质
CN116958142A (zh) * 2023-09-20 2023-10-27 安徽大学 基于复眼事件成像与高速转台的目标检测与跟踪方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883648A (zh) * 2023-09-06 2023-10-13 南方电网数字电网研究院有限公司 一种异物检测方法、装置、电子设备及存储介质
CN116883648B (zh) * 2023-09-06 2024-02-13 南方电网数字电网研究院股份有限公司 一种异物检测方法、装置、电子设备及存储介质
CN116958142A (zh) * 2023-09-20 2023-10-27 安徽大学 基于复眼事件成像与高速转台的目标检测与跟踪方法
CN116958142B (zh) * 2023-09-20 2023-12-15 安徽大学 基于复眼事件成像与高速转台的目标检测与跟踪方法

Similar Documents

Publication Publication Date Title
CN111178183B (zh) 人脸检测方法及相关装置
CN116402852A (zh) 基于事件相机的动态高速目标追踪方法及装置
CN105930822A (zh) 一种人脸抓拍方法及系统
CN112669344A (zh) 一种运动物体的定位方法、装置、电子设备及存储介质
CN110796687B (zh) 天空背景红外成像多目标跟踪方法
JP6565600B2 (ja) アテンション検出装置及びアテンション検出方法
JP2012059224A (ja) 移動物体追跡システムおよび移動物体追跡方法
CN110555868A (zh) 一种复杂地面背景下运动小目标检测方法
KR101243294B1 (ko) 이동 객체 추출 및 추적 방법 및 장치
CN114241386A (zh) 一种基于实时视频流的输电线路隐患检测与识别的方法
CN112435223B (zh) 目标检测方法、装置及存储介质
CN112396053A (zh) 一种基于级联神经网络的环视鱼眼图像目标检测方法
CN112541403A (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN113553992A (zh) 一种面向电扶梯的复杂场景目标跟踪方法及系统
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
CN111881982A (zh) 一种无人机目标识别方法
CN113255549B (zh) 一种狼群围猎行为状态智能识别方法及系统
CN115719428A (zh) 基于分类模型的人脸图像聚类方法、装置、设备及介质
Kalshetty et al. Abnormal event detection model using an improved ResNet101 in context aware surveillance system
CN115170456A (zh) 检测方法及相关设备
CN111860261A (zh) 一种客流值的统计方法、装置、设备及介质
RU2807953C1 (ru) Система сопровождения подвижных объектов на видео
CN117237676B (zh) 一种核电厂基于事件相机对小目标掉落轨迹的处理方法
CN116994201B (zh) 对高空抛物进行溯源监测的方法及计算设备
Chen et al. A learning-based approach for leaf detection in traffic surveillance video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination