CN112598700A - 用于目标检测和追踪的神经形态视觉与帧速率成像 - Google Patents

用于目标检测和追踪的神经形态视觉与帧速率成像 Download PDF

Info

Publication number
CN112598700A
CN112598700A CN201911293340.7A CN201911293340A CN112598700A CN 112598700 A CN112598700 A CN 112598700A CN 201911293340 A CN201911293340 A CN 201911293340A CN 112598700 A CN112598700 A CN 112598700A
Authority
CN
China
Prior art keywords
event data
training
trained
intensity
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911293340.7A
Other languages
English (en)
Inventor
S.L.库克雷加
J.V.曼特斯
O.T.奥辛
J.利奥贝
J.S.墨菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensor Unlimited
Sensors Unlimited Inc
Original Assignee
Sensor Unlimited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensor Unlimited filed Critical Sensor Unlimited
Publication of CN112598700A publication Critical patent/CN112598700A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Eye Examination Apparatus (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明的主题是“用于目标检测和追踪的神经形态视觉与帧速率成像”。提供了一种成像系统和一种成像方法。所述成像系统包括：单个光学器件模块，所述单个光学器件模块被配置用于聚焦从动态场景反射或发出的在红外光谱中的光；以及同步焦平面阵列，所述同步焦平面阵列用于接收所述聚焦光并从所述接收到的聚焦光获取具有高空间分辨率和低时间分辨率的红外图像。所述成像系统还包括：异步神经形态视觉系统，所述异步神经形态视觉系统被配置用于接收所述聚焦光并获取具有高时间分辨率的神经形态事件数据；以及读出集成电路(ROIC)，所述ROIC被配置为读出所述红外图像和所述事件数据两者。

Description

用于目标检测和追踪的神经形态视觉与帧速率成像
背景技术
1.公开领域
本公开涉及神经形态视觉与帧速率成像，并且更具体地说涉及使用神经形态视觉与帧速率成像的组合来进行目标检测和追踪。
2.相关技术的描述
帧速率成像系统采用同步(有框架)传感器来按预定帧速率感测和输出强度图像。强度图像具有高空间分辨率和消耗大量功率、内存和带宽的低时间分辨率。时间分辨率的轻微增大可能致使内存和带宽消耗呈指数增加。
神经形态视觉采用异步(即，无框架)传感器来进行被动感测，所述被动感测输出由目标的移动在发生之时导致的局部像素级变化。神经形态视觉提供低功率和低带宽解决方案以用于响应于感测到移动而以非常高的时间分辨率输出少量数据。尽管空间分辨率能力在未来可能增大，但目前，神经形态视觉数据具有低空间分辨率。尽管少量数据输出提供关于目标的有限信息，但神经形态视觉提供检测和追踪移动的优点。
然而，神经形态视觉的发展已被限于受约束的实验室实验。这类实验往往关于部署条件做出假设，所述部署条件诸如(1)最少场景杂乱，(2)要识别和追踪的单个缓慢移动的物体，(3)窄视野，和/或(4)感兴趣物体的紧密靠近或已知位置。然而，在诸如情报、监视和侦察(ISR)的应用的真实世界情形中，需要从具有可能显著的背景杂乱(诸如由于云、地形和伪装引起)的高海拔追踪多个高速目标。
尽管常规方法和系统在其预期目的方面大体上视为令人满意的，但本领域仍然需要可以将帧速率成像系统与用于使用受约束的资源进行ISR的神经形态视觉系统组合的能够在真实世界条件下和从高海拔进行ISR的系统和方法。
发明内容
下文描述的所示实施方案的目的和优点将在以下描述中进行阐述并且从以下描述显而易见。所示实施方案的额外优点将通过书面说明书及其权利要求书以及附图中特别指出的装置、系统和方法实现和获得。
为了实现这些和其他优点并且根据所示实施方案的目的，根据本公开的一个方面，提供了一种成像系统。所述成像系统包括：单个光学器件模块，所述单个光学器件模块被配置用于聚焦从动态场景反射或发出的在红外光谱中的光；以及同步焦平面阵列，所述同步焦平面阵列用于接收所述聚焦光并从所述接收到的聚焦光获取具有高空间分辨率和低时间分辨率的红外图像。所述成像系统还包括异步神经形态视觉系统，所述异步神经形态视觉系统被配置用于接收所述聚焦光并获取具有高时间分辨率的神经形态事件数据。组合的红外和神经形态系统具有读出集成电路(ROIC)，所述ROIC被配置为读出所述红外图像和所述事件数据两者。
根据本公开的另一方面，提供了一种用于成像的方法。所述方法包括：聚焦从动态场景反射或发出的在红外光谱中的光；以及从所述聚焦光同步地获取具有来自接收到的聚焦光的高空间分辨率和低时间分辨率的红外图像。所述方法还包括：从所述聚焦光异步地获取具有高时间分辨率的事件数据；以及读出所述红外图像和所述事件数据两者。
根据本公开的另一方面，提供了一种用于对目标成像的成像系统。所述成像系统包括同步焦平面阵列，所述同步焦平面阵列用于接收聚焦光并同步地获取强度图像，其中所述强度图像具有来自所述接收到的聚焦光的高空间分辨率和低时间分辨率。所述成像系统还包括异步神经形态视觉系统，所述异步神经形态视觉系统被配置用于接收所述聚焦光并异步地获取事件数据，所述事件数据具有高时间分辨率。提供了一种ROIC，其中所述ROIC被配置为读出所述强度图像和所述事件数据两者，其中所述焦平面阵列和所述ROIC最初被配置用于以低帧速率获取和读出所述强度图像。所述成像系统还包括被配置用于异步地监测所述事件数据以用于检测事件的至少一个处理模块。响应于检测到所述事件，所述处理模块被进一步配置用于控制所述焦平面阵列和所述ROIC中的至少一者以将获取或读出所述强度图像的所述帧速率从第一帧速率增大为第二帧速率。
根据本公开的又一方面，提供了一种用于处理使用模板获取的动态场景的强度图像和异步地获取的事件数据的方法，其中所述事件数据是响应于从场景反射或发出的光而使用神经形态视觉系统获取的，并且所述已获取事件数据具有高时间分辨率。所述方法包括接收模板，其中所述模板由机器学习训练确定。此外，所述模板包括多个条目，每个条目包括与一个或多个已训练强度图像相关的已训练事件数据。所述相关的已训练事件和一个或多个已训练强度图像是响应于从同一场景反射或发出的光而同时获取的，其中所述已训练强度图像与一个或多个相应的可能的感兴趣目标相关联。所述已训练强度图像是从FPA同步地获取的并且具有高空间分辨率和低时间分辨率。所述已训练事件数据是从所述神经形态视觉系统异步地获取的并且具有高时间分辨率。所述方法包括：接收包括查询事件数据或查询强度图像数据的查询；确定包括已训练事件数据或已训练强度图像的所述模板中的与所述查询最相似的条目；以及使用所述条目的所述相关的已训练强度图像或已训练事件数据来识别、检测或追踪目标。
附图说明
为了使本主题公开所属领域的技术人员将易于在没有过度实验的情况下理解如何制造和使用本主题公开的装置和方法，下文中将参考某些图式详细描述其实施方案，图中：
图1是根据本公开的实施方案的部署在操作环境中的视觉系统的示意图；
图2是根据本公开的实施方案的视觉系统的框图；
图3是根据本公开的另一实施方案的视觉系统的示意图；
图4、图5和图8-11是根据本公开的实施方案的由视觉系统及其部件执行的实例方法的流程图；
图6是根据本公开的实施方案的强度图像帧速率的调整的示意图；
图7A和图7B是根据本公开的实施方案的处于训练模式和已训练模式的视觉系统的融合算法模块的框图；
图12A和图12B是训练神经网络的方法的流程图；以及
图13是根据本公开的实施方案的被配置为实施视觉系统的部件的示例性计算机系统的框图。
具体实施方式
现在参考附图更全面地描述所示实施方案，在附图中相似的附图标记标识类似的结构/功能特征。所示实施方案不以任何方式限于所示内容，因为下文描述的所示实施方案仅仅是示例性的，所述实施方案可以各种形式体现，如本领域技术人员所了解。因此，应理解本文中公开的任何结构细节和功能细节不应被解释为限制性的，而是仅仅作为权利要求书的基础和作为教导本领域技术人员以不同方式采用所讨论的实施方案的代表。此外，本文中使用的术语和短语无意为限制性的，而是意在提供所示实施方案的可理解的描述。
除非另外定义，否则本文中使用的所有技术和科学术语都具有本公开所属领域的技术人员通常所理解的相同的含义。尽管与本文中描述的方法和材料类似或等效的任何方法和材料也可以用于实践或测试所示实施方案，但是现在描述示例性方法和材料。
必须指出，如本文中和所附权利要求书中所使用，除非上下文另外清楚地指示，否则单数形式“一个”、“一种”和“所述”包括复数指称对象。因此，例如，对“所述信号”的提及包括对本领域技术人员已知的一个或多个信号及其等效物的提及等等。
应了解，下文讨论的所示实施方案优选地是驻留在计算机可使用的介质上的软件算法、程序或代码，计算机可使用的介质具有使得能够在具有计算机处理器的机器上执行的控制逻辑。机器通常包括被配置为从计算机算法或程序的执行提供输出的内存存储装置。
如本文中所使用，术语“软件”意指与可以在主计算机的处理器中的任何代码或程序同步，而不管是在硬件、固件中实施还是实施为可用于磁盘、内存存储装置上或从远程机器下载的软件计算机产品。本文中描述的实施方案包括这类软件以实施上文描述的等式、关系和算法。本领域技术人员将基于上述实施方案而了解所示实施方案的其他特征和优点。因此，除非所附权利要求书指示，否则所示实施方案不受特别示出和描述的内容限制。
现在在描述上转向附图，其中类似的附图标记在所有几个视图中表示类似的元件，图1示出了可以实施下文示出的实施方案的示例性视觉系统100。视觉系统100可以安装到静止或移动的平台10。可由视觉系统100观察到的场景的物体20可以是静止的或移动的。由于平台10或物体20的移动，场景可以是动态的。在一个实例中，视觉系统100平台10可以是有人或无人空基、天基、陆基或海基飞行器。
视觉系统100使用基于事件的视觉，即使当平台10和/或目标20是静止或移动的物体，包括快速移动的物体时，所述基于事件的视觉检测事件并提供以高时间分辨率检测和追踪物体20(也称为目标)的能力。视觉系统100使用由焦平面阵列感测的同步强度图像，所述焦平面阵列可以基于事件检测而被控制和/或与机器学习组合以增强目标检测、目标追踪和/或场景重构。这些增强使得视觉系统100能够从远距离，诸如从高海拔检测和追踪目标20，包括当目标20被部分遮蔽时。通过将基于事件的视觉与强度图像的同步获取组合，视觉系统100被配置为最小化功率消耗并且可以适应低数据处理和数据传送要求。
参考图2，视觉系统100包括光学器件模块102、获取和读出块104、处理块106和融合算法模块108。来自融合算法模块108的输出，诸如目标检测数据、目标追踪数据和/或场景重构数据可以提供给分析员110，分析员可以将信息应用于决策模块112以用于做出决策，例如战术决策。
光学器件模块102包括将从动态场景反射或发出的光聚焦在获取和读出块104的一个或多个部件上的透镜和/或光学器件。获取和读出块104包括焦平面阵列(FPA)和读出集成电路(ROIC)120以及动态视觉系统(DVS)和ROIC 130。
FPA/ROIC 120被配置用于基于从光学器件模块102接收的聚焦光的感测光而同步地获取强度图像并读出强度图像。由FPA/ROIC进行的图像获取和读出相对于DVS/ROIC 130具有高空间分辨率但具有低时间分辨率。FPA/ROIC 120可以包括用于在不同光谱中获取图像的FPA，所述光谱包括例如而不限于可见光谱、长波红外(LWIR)光谱、中波红外(MWIR)光谱、近红外(NIR)和短波红外(SWIR)光谱。FPA/ROIC 120还包括用于读出由FPA感测的信号的ROIC。
FPA/ROIC 120是每帧捕获相对大量数据的基于帧的成像系统。当时间分辨率(帧速率)或空间分辨率增大时，所生成的数据量可以呈指数增加。大量数据消耗大量内存、功率和带宽。来自帧间的数据中的大部分是冗余的。常规FPA/ROIC的空间和时间分辨率在具有有限的内存、功率和/或数据带宽能力的应用中可能受限制。
DVS/ROIC 130被配置用于基于从光学器件模块102接收的聚焦光的感测光而异步地获取事件数据和读出事件数据并读出事件数据。异步数据是当被发送或接收时不同步的数据。在这种类型的传输中，在计算机与外部系统之间或反过来也一样以异步方式发送信号。这通常指以间歇性间隔而不是以稳定流传输的数据。DVS/ROIC 130包括具有FPA的事件驱动传感器，诸如用于实现神经形态视觉的动态视觉传感器或基于异步时间的图像传感器(ATIS)。
DVS被配置为具有足以在一定距离处对物体(例如，目标)的细节成像的分辨率。来自红外相机系统(例如，SWIR、MWIR、LWIR等)的光学器件的用途是用以使物体的视图靠近DVS的‘成像平面’，从而允许其对物体成像。例如，相机可以具有动态范围为120dB的346x260像素的分辨率(VGA分辨率的一半)，12M事件/秒的带宽，18.5x18.5 um的像素大小，以及可重配置快门(全局的或卷帘的)。这将在另一光学器件系统与DVS串列地使用以使物体靠近DVS的成像平面的情况下允许DVS很好地对物体成像。DVS/ROIC 130还包括被配置用于从传感器读出事件数据并向融合算法模块108提供事件数据的ROIC。
处理块106包括各自应用专用神经网络的图形处理单元(GPU)122和现场可编程门阵列(FPGA)或神经形态处理单元(NPU)132。神经网络可以包括卷积神经网络CNN和/或深度神经网络DNN。GPU 122使用第一神经网络来处理从FPA/ROIC 120接收的强度图像。由GPU122执行的处理是基于帧的。FPGA或NPU 132使用第二神经网络来处理从DVS/ROIC 130接收的事件数据。由NPU132执行的处理是基于事件的。将来自GPU 122和FPGA或NPU 132的输出提供给融合算法模块108，如箭头113所示，诸如以用于机器学习训练和应用已训练的机器学习过程。
GPU 122和FPGA或NPU 132执行ISR算法，例如而不限于执行目标检测(TD)、目标追踪(TT)和场景重构的算法。来自GPU 122和FPGA或NPU 132的结果输出是融合输出115。融合输出可以识别检测到的目标并提供关于追踪目标的信息。针对检测到的导弹的高级融合输出15的非限制性实例是”导弹，向北行进，速度10m/s”或‘民用车辆，白色SubaruTMForesterTM，向北行进，速度5m/s”。这类高级融合输出115提供分析员可以用来快速做出决策或推荐的可行动数据。
在SWIR、LWIR、MWIR、NIR光谱中的任一者中操作的相机可以被改造以作为FPA/ROIC 120操作。在实施方案中，尽管不需要，但是DVS/ROIC 130可以利用FPA的光电二极管阵列(PDA)中的传感器使用的材料的先验知识进行设计。这可以结合PDA来优化相机性能。在基于InGaA的PDA的情况下，PDA的衬底可以变薄以便将其吸收波长向下延伸到EM光谱的可见光部分，因此包括SWIR、NIR和可见光波长。对PDA的这种修改将不需要修改DVS/ROIC130。然而，为了支持较长的波长(即，MWIR到LWIR)，DVS/ROIC 130将需要被配置为对这些特定波长进行最佳操作。
参考图3，示出了视觉系统100，其中获取和读出块104被配置为单个模块，所述模块包括与一个或多个事件驱动传感器(诸如动态视觉传感器或基于异步时间的图像传感器(ATIS))集成的用于强度图像获取的传感器(诸如FPA)。FPA可以被配置为感测特定光谱(诸如可见光、SWIR、NIR、MWIR或LWIR)中的光。获取和读出块104包括被配置为读出同步强度图像和异步的基于事件的数据的一个ROIC。例如美国专利No.US9641781和US9698182公开了FPA与事件驱动传感器的集成以及提供单个ROIC以用于读出同步强度图像和异步的基于事件的数据两者的单个ROIC的实例，其主题整体并入本文中。
处理块106使用神经网络(NN)，诸如CNN和/或DNN来接收和处理由获取和读出块104输出的同步集成图像和异步事件数据两者。神经网络通常由具有若干分层的互连层的加权滤波器组成。神经网络接受来自读出块104的同步图像和异步事件数据并输出该输入数据的新的学习的表示，称为特征图。特征图中的每个条目等效于NN层中的一个神经元。每一层建在前一层的特征提取上。这些分层特征提取器的输出被馈送到完全连接的NN，所述NN使用来自读出块104的同步图像和异步事件数据执行分类任务。
融合算法模块108接收来自GPU 122和FPGA或NPU 132(图2中)或处理块106(在图3中示出为集成块)的输出。数据可以用于如下文进一步描述而训练一个或多个模型。数据还可以用作模型的输入，诸如用于目标检测、目标追踪或场景重构。
由于目标检测、目标追踪或场景重构通过机器学习增强，因此可以在不使用强度图像或以相对慢的帧速率获得强度图像的情况下从少量事件数据推断大量知识，其中较慢的帧速率减少内存、功率和/或数据带宽的消耗。
在图2和图3两者所示的实施方案中，来自同一源的光同时入射在获取和读出模块104上以用于获取和读出强度图像和事件数据两者。在图2所示的实施方案中，来自同一源的光同时入射在FPA/ROIC120和DVS/ROIC 130两者上。在实施方案中，来自同一源的光通过一个光学器件模块102同时聚焦在FPA/ROIC 120和DVS/ROIC 130两者上。在图3所示的实施方案中，入射在获取和读出块104上的光被同时处理以用于获取强度图像和事件数据两者。在实施方案中，来自同一源的光通过一个光学器件模块102聚焦在获取和读出块104上以用于同时获取强度图像和事件数据。
图4、图5和图7-10示出了示例性和非限制性流程图。在转向图4、图5和图7-10的描述之前，注意，图4、图5和图7-10中的流程图示出了按特定顺序执行操作步骤的实例，如连接方框的线所指示，但该图中所示的各个步骤可以按不同的顺序，或不同的组合或子组合执行。应了解，在一些实施方案中，下文描述的步骤中的一些可以组合为单个步骤。在一些实施方案中，可以包括一个或多个额外步骤。在一些实施方案中，可以省略步骤中的一个或多个。
参考图4，流程图400示出了根据某些所示实施方案的用于成像的方法。该方法可以由视觉系统，诸如图1-3所示的视觉系统100执行。操作402包括聚焦从动态场景反射或发出的在短波红外(SWIR)光谱中的光。操作404包括从聚焦光获取具有来自接收到的聚焦光的高空间分辨率和低时间分辨率的SWIR图像。操作406包括从聚焦光获取具有高时间分辨率的事件数据。操作408包括读出SWIR图像和事件数据两者。流程图400中所示的方法任选地还可以包括操作410-412。操作410包括在事件数据中检测事件。操作412可以包括根据对事件的检测来处理SWIR图像和事件数据，诸如以用于执行诸如目标检测、目标追踪、场景重构中的任一者的操作，执行用于生成模型的训练，所述模型可以用于执行诸如目标检测、目标追踪、场景重构等中的任一者的操作。
参考图5，流程图500示出了根据某些所示实施方案的用于对目标成像的方法。该方法可以由视觉系统，诸如图1-3所示的视觉系统100执行。操作502包括监测事件数据以用于检测事件。操作504包括响应于检测到事件，控制焦平面阵列和ROIC中的至少一者以增大获取或读出强度图像的帧速率。在一个或多个实施方案中，FPA在短波红外(SWIR)光谱中操作。在一个或多个实施方案中，FPA在NIR、MWIR、LWIR或可见光谱中操作。用于控制强度图像获取的帧速率的控制信号在图2和图3中表示为箭头111。在图2中，FPGA或NPU132执行事件检测并向FPA/ROIC 120发送控制信号，如箭头111所表示。在图3中，处理块106执行事件检测并向获取和读出块104发送控制信号，如箭头111所表示。
流程图500中所示的方法任选地还可以包括操作501、506和508。操作501包括通过光学器件模块(诸如图2和图3所示的光学器件模块102)聚焦从动态场景反射或发出的光。该光学器件模块可以是单个光学器件模块。
操作506可以包括响应于不再追踪到与检测到的事件相关联的目标，将帧速率减小为第三帧速率。根据本公开，操作508可以包括处理强度图像和事件数据，诸如以用于执行诸如目标检测、目标追踪、场景重构中的任一者的操作，执行用于生成模型的训练，所述模型可以用于执行诸如目标检测、目标追踪、场景重构等中的任一者的操作。
图6示出了由FPA(诸如FPA/ROIC 120或获取和读出块104中包括的FPA)生成的强度图像的帧600的图。帧600包括根据箭头111表示的控制信号以缓慢帧速率获取的第一帧602和以快速帧速率获取的第二帧604。当获取第一帧602时，监测由DVS/ROIC 130或获取和读出块104输出的事件数据以在以较快速率获取或读出强度图像以作为第二帧604之时606检测到事件。当不再追踪到与检测到的事件相关联的目标时，以较慢的帧速率获取或读出强度图像以作为第一帧602。在一个或多个实施方案中，将帧速率减小为与获取第一帧602相同的帧速率。在一个或多个实施方案中，将帧速率减小为比用于获取第一帧602的帧速率更慢或更快，但比用于获取第二帧604的帧速率更慢的不同的帧速率。
分别参考图7A和图7B，示出了处于离线训练阶段和在线应用阶段的融合算法模块108。参考图7A，融合算法模块108接收训练数据，执行训练算法，并产生已训练数据，所述已训练数据可以是模型和/或模板。训练数据是获取的强度图像和事件数据。已训练数据可以包括被配置用于执行场景重构的模型和/或被配置用于目标识别、检测和/或追踪的模板。
参考图7B，融合算法模块108接收查询数据并使用已训练数据来生成输出。在已训练数据包括被配置用于执行场景建构的重构模型的一个或多个实施方案中，查询可以是具有限定窗的获取时间的两个连续的强度图像，并且输出可以是通过应用重构模型而从两个连续的强度图像重构的新的强度图像，所述新的强度图像具有在窗中的获取时间。在Scheerlinck,C.、Barnes,N.和Mahoney,R.，Continuous-time intensity estimationusing event cameras，Asian Conference on Computer Vision(308-324页)，Springer,Cham(2018年12月)中可以找到不同应用中的重构的实例方法。
在已训练数据包括模板的一个或多个实施方案中，查询可以是图像查询或已获取事件数据的片段查询。输出可以是与模板中的被确定为与查询匹配的条目相关的已训练强度图像或已训练事件数据。当查询是图像查询时，确定具有已训练图像数据的模板中的与图像查询匹配(基于匹配阈值)的条目。融合算法模块108输出确定的条目的已训练事件数据。当查询是已获取事件数据的片段查询时，确定具有已训练事件数据的模板中的与已获取事件数据的片段查询匹配(基于匹配阈值)的条目。融合算法模块108输出确定的条目的已训练强度图像。
参考图8，流程图800示出了根据某些所示实施方案的用于使用已获取事件数据来执行强度图像的场景重构的方法，其中强度图像和事件数据是从自同一场景反射和/或发出的聚焦光同时获取的。强度图像是从FPA获取的并且事件数据是从神经形态视觉系统获取的。强度图像具有高空间分辨率和低时间分辨率，而事件数据具有高时间分辨率。该方法可以由融合算法模块，诸如图2和图3所示的融合算法模块108执行。操作802包括处理已获取强度图像以用于获得具有限定窗的获取时间的两个连续的强度图像，以及在窗中包括的对应于检测到的事件的时间获取的事件数据。操作804包括通过应用机器学习来生成具有包括在窗中的理论获取时间的新的强度图像。操作806包括将新的强度图像插入在两个连续的图像之间。在操作808处，确定针对两个连续的强度图像的场景重构是否完成。该确定可以基于执行的迭代的次数、新的强度图像与不同图像(诸如在前一迭代中生成的新的强度图像或两个连续的强度图像中的一者)之间的获取时间差，或新的强度图像的参数。
参考图9，流程图900示出了根据某些所示实施方案的用于使用训练强度图像和训练事件数据来训练用于执行场景重构的模型的方法，其中训练强度图像和训练事件数据是从自同一源接收的聚焦光同时获取的。训练强度图像是从FPA获取的并且训练事件数据是从神经形态视觉系统获取的。训练强度图像具有高空间分辨率和低时间分辨率，而训练事件数据具有低空间分辨率和高时间分辨率。该方法可以由融合算法模块，诸如图2和图3所示的融合算法模块108执行。
操作902包括接收与已知目标相关联的训练强度图像和训练事件数据。操作904包括估计具有包括在训练窗中的理论训练获取时间的新的训练强度图像，所述训练窗在训练强度图像中的两个连续的训练强度图像的获取时间之间。操作906包括将估计的新的训练强度图像与在理论训练获取时间获取的实际图像进行比较。操作908包括根据比较的结果来调整用于机器学习的至少一个参数。
参考图10，流程图1000示出了根据某些所示实施方案的使用模板和已获取事件数据来检测和/或追踪目标的方法，其中事件数据是响应于从场景反射或发出的光而使用神经形态视觉系统，诸如图2和图3所示的视觉系统100获取的。操作1002包括接收模板。包括多个条目的所述模板由机器学习训练确定。每个条目包括与一个或多个已训练强度图像相关的已训练事件数据。相关的已训练事件和一个或多个已训练强度图像是响应于从同一场景反射或发出的光而同时获取的。已训练强度图像与一个或多个相应的可能的感兴趣目标相关联。已训练强度图像是从FPA获取的并且具有高空间分辨率和低时间分辨率，并且已训练事件数据是从神经形态视觉系统获取的并且具有低空间分辨率和高时间分辨率。操作1004包括接收包括查询事件数据或查询强度图像数据的查询。操作1006包括确定包括已训练事件数据或已训练强度图像的模板中的与查询最相似的条目。操作1008包括使用条目的相关的已训练强度图像或已训练事件数据来识别、检测或追踪目标。
根据一个或多个实施方案，查询包括查询强度图像，并且确定的事件包括与查询强度图像最相似的已训练强度图像，并且确定条目的相关的已训练事件数据。方法还可以包括在操作1010处继续接收已获取事件数据。操作1008可以包括确定已获取事件数据与相关的已训练事件数据的相似度。相似度确定可以用于确定是否检测到新目标或是否再次检测到先前检测到的目标，其可以用于追踪目标和检测新目标。
根据一个或多个实施方案，查询包括已获取事件数据的片段，确定的事件包括与已获取事件数据的查询的片段最相似的已训练事件数据，并且确定相关的已训练强度图像。在操作1008处，可以将在操作1006处确定的相关的已训练强度图像与已获取事件数据的片段相关联并将其用于识别与已获取事件数据的片段查询相关联的目标。该识别可以有助于重复地检测目标以便追踪目标。
该方法还可以包括在操作1010处继续接收已获取事件数据，其中可以提供已获取事件数据的另一片段作为查询。已获取事件数据可以自动分段成作为查询提供的片段。这种分段可以在CNN/DNN 106或132中执行。降噪可以在DVS/ROIC 130中执行，并且分段可以通过将事件数据在空间上聚集在小的时间窗内来执行。该时间窗内的查询事件可以基于聚集的速度和方向而从背景分段。可以类似的方式对与多个物体有关的事件分段。根据一个或多个实施方案，按照运动、量值和/或方向中的至少一者来聚集已获取事件数据。
根据一个或多个实施方案，确定条目包括输出表示条目的确定的置信度的置信度得分。
根据一个或多个实施方案，确定条目包括输出表示条目的确定的置信度的置信度得分，其中查询强度图像的遮蔽会影响置信度得分。
参考图11，流程图1100示出了根据某些所示实施方案的用于使用训练强度图像和训练事件数据通过生成用以检测和/或追踪目标的模板来训练模型的方法。训练强度图像和训练事件数据是同时从自同一源接收的聚焦光获取的。训练强度图像是从FPA获取的并且训练事件数据是从神经形态视觉系统获取的。训练强度图像具有高空间分辨率和低时间分辨率，而训练事件数据具有低空间分辨率和高时间分辨率。该方法可以由融合算法模块，诸如图2和图3所示的融合算法模块118执行。
操作1102包括接收与相应的已知目标相关联的训练事件数据和训练强度图像。操作1104包括将针对相应的已知目标中的每一者接收的训练事件数据与强度训练图像相关。操作1106包括将相关的训练事件数据和训练强度图像作为模板的已训练事件数据和已训练强度图像数据输出。
根据一个或多个实施方案，生成模板还包括当相应的已知目标中的同一目标以至少一个不同的姿势定位和/或该目标定位在距成像系统不同的距离处时，重复接收与该目标相关联的训练事件数据和训练强度图像。
根据一个或多个实施方案，通过应用核密度估计来对训练事件数据进行滤波。
根据一个或多个实施方案，通过使用形状描述子来对已训练事件数据进行编码。
参考图12A和图12B，在离线训练阶段期间各自训练条件对抗网络(cGAN)的实例判别器侧1200和生成器侧1250以用于将查询图像转化为其事件数据等效物。将cGAN作为可以用于训练融合算法模块，诸如图2和图3所示的融合算法模块108的网络的实例提供，而不限于特定网络。
参考图12A，生成器(G)1202将输入图像帧变换为输出事件集，而判别器(D)1204测量输入图像帧与未知事件集(来自数据集的目标事件集，或来自生成器1202的输出事件集)的相似度，并试图猜测其是否由生成器1202产生。
比较模块1206计算两个输入之间的误差，从而测量相似程度。优化器1208工作以通过相应地设置判别器权重1210来最小化判别器1204猜测与事实之间的误差。
在训练期间，生成器1202从输入图像帧生成输出事件集。判别器1204查看输入图像帧/目标事件集对和输入图像帧/输出事件集对，并产生关于所述对看起来多真实的猜测。然后基于输入图像帧/目标事件集对和输入图像帧/输出事件集对的分类误差来调整判别器权重1210的权重向量。
参考图12B，已经关于图12A描述的部件用类似的附图标记示出。另外，图12B示出了生成器的权重1252，所述权重是基于判别器1204的输出以及输出事件集与目标图像帧之间的差异而调整的。由于生成器的权重1252是基于判别器的输出，因此当判别器1204性能提高时，生成器1202性能也提高，从而逐渐形成实际上表示输入图像帧的输出事件集。
因此，训练图像到事件的转化以便将任何图像查询转化为事件数据的等效事件集。图像到事件的转化还包括生成输入图像帧的多个视图以实现目标物体的姿势不变性。
上文参考根据本公开的实施方案的方法、设备(系统)和计算机程序产品的框图描述了本公开的方面。所描述的方法的特征包括操作，诸如可以使用软件、硬件和/或固件执行的等式、变换、转换等。不管软件实现方式如何，应理解，框图图示的个别方框和框图图示中的方框组合可以由计算机程序指令实施。这些计算机程序指令可以提供给通用计算机、专用计算机的处理器或其他可编程数据处理设备以产生机器，使得经由计算机的处理器或其他可编程数据处理设备执行的指令产生用于实施框图方框中指定的功能/动作的方式。
参考图13，示出了实例计算系统1300的框图，计算系统1300提供了控制器102或视觉系统100的一个或多个部分和/或融合算法模块108的实例配置。计算系统1300仅仅是合适的系统的一个实例并且不旨在提出关于本文中描述的公开内容的实施方案的用途或功能的范围的任何限制。计算系统1300可以使用硬件、软件和/或固件实施。无论如何，计算系统1300能够如本公开中所阐述被实施和/或执行功能。
示出了呈通用计算装置的形式的计算系统1300。计算系统1300包括处理装置1302、存储器1304、可以与内部部件1310以及任选地与外部部件1308通信的输入/输出(I/O)接口(I/F)1306。
处理装置1302可以包括例如PLOD、微处理器、DSP、微控制器、FPGA、ASCI，和/或具有类似的处理能力的其他离散或集成逻辑电路。
处理装置1302和存储器1304可以包括在提供在例如FPGA、ASCI、微控制器或微处理器中的部件中。存储器1304可以包括例如易失性和非易失性存储器以用于暂时地或长期地存储数据，并用于存储可由处理装置1302执行的可编程指令。I/O I/F 1306可以包括联接到一个或多个内部部件1308和/或外部部件1310的接口和/或导体。
这些计算机程序指令也可以存储在计算机可读介质中，所述计算机可读介质可以引导计算机、其他可编程数据处理设备或其他装置以特定方式起作用，使得存储在计算机可读介质中的指令产生包括实施流程图和/或框图方框中指定的功能/动作的指令的制品。
计算机程序指令还可以加载到计算机、其他可编程数据处理设备或其他装置上以致使在计算机、其他可编程设备或其他装置上执行一系列操作性操作以产生计算机实施的过程，使得在计算机或其他可编程设备上执行的指令提供用于实施框图方框中指定的功能/动作的过程。
视觉系统100和/或融合算法模块108(或视觉系统100和/或融合算法模块108的一部分)的实施方案可以由一个或多个计算机系统(诸如微处理器)实施或执行。每个计算机系统1300可以实施控制器102或其多个实例。在各种实施方案中，计算机系统1300可以包括微处理器、FPGA、专用集成电路(ASCI)、微控制器中的一者或多者。计算机系统1300可以作为嵌入式装置提供。计算机系统1300的全部或一部分可以在外部诸如作为移动计算装置、智能电话、台式计算机、膝上型计算机或类似者提供。
计算机系统1300仅仅是合适的系统的一个实例并且不旨在提出关于本文中描述的公开内容的实施方案的用途或功能的范围的任何限制。无论如何，计算机系统1300能够被实施和/或执行上文中阐述的功能中的任一者。
计算机系统1300可以在计算机系统可执行指令(诸如程序模块)由计算机系统执行的一般上下文中描述。一般来说，程序模块可以包括执行特定任务或实施特定抽象数据类型的例程、程序、对象、部件、逻辑、数据结构等。
视觉系统集成异步神经形态事件数据与同步有框架强度图像的获取。在一个或多个实施方案中，强度图像是SWIR图像。在一个或多个实施方案中，强度图像具有在可见光、NIR、MWIR或LWIR光谱中的波长。机器学习用以训练融合算法模块以执行场景重构和/或识别、检测和/或追踪目标。融合算法模块是使用训练强度图像的多个视图训练的以提供姿势(例如，定向)和尺度不变性。例如通过使用核密度估计来降低训练事件数据的噪声。模板存储已训练事件数据和相关的强度图像数据的条目。可以诸如通过使用形状描述子来对已训练事件数据进行编码。在训练后，可以将查询提交给融合算法模块。可以将强度图像或已获取事件数据作为查询提交。可以在作为查询提交之前按照运动、量值和/或方向来聚集已获取事件数据。可以将查询与模板条目进行比较以确定相似程度。当相似程度高于预定义阈值或确定为对于模板条目是最高的时，确定匹配并且可以使用该匹配来执行目标识别、检测和/或追踪。
因此，应用机器学习来将事件数据和强度图像相关提供具有有限的功率、内存和处理资源的平台使用神经形态事件检测来执行场景重构和/或目标识别、检测和/或追踪的能力。诸如对事件数据进行滤波、聚集和编码的技术提高可靠性和将查询事件数据与模板中的已训练事件数据进行比较和匹配的能力。
虽然已经参照示例性实施方案描述了本公开，但本领域技术人员应理解，在不脱离本公开的范围的情况下，可以进行各种改变并且可以用等效物取代本公开的元件。另外，在不脱离本公开的基本范围的情况下，可以进行许多修改以使特定情形或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施方案，而是本公开将包括落在所附权利要求书的范围内的所有实施方案。
除非另外定义，否则本文中使用的所有技术和科学术语都具有本公开所属领域的技术人员通常所理解的相同的含义。尽管与本文中描述的方法和材料类似或等效的任何方法和材料也可以用于实践或测试所示实施方案，但是现在描述示例性方法和材料。本文中提到的所有公告以引用的方式并入本文中以公开和描述引用公告所结合的方法和/或材料。
必须指出，如本文中和所附权利要求书中所使用，除非上下文另外清楚地指示，否则单数形式“一个”、“一种”和“所述”包括复数指称对象。因此，例如，对“一个刺激”的提及包括多个这种刺激并且对“所述信号”的提及包括对本领域技术人员已知的一个或多个信号及其等效物的提及等等。
尽管已经参考实施方案示出和描述了本主题公开的设备和方法，但本领域技术人员将易于了解在不脱离本主题公开的精神和范围的情况下可以对其进行改变和/或修改。

Claims (30)

1.一种成像系统，所述成像系统包括：
单个光学器件模块，所述单个光学器件模块被配置用于聚焦从动态场景反射或发出的在红外光谱中的光；
同步焦平面阵列，所述同步焦平面阵列用于接收所述聚焦光并从所述接收到的聚焦光获取具有高空间分辨率和低时间分辨率的红外图像；
异步神经形态视觉系统，所述异步神经形态视觉系统被配置用于接收所述聚焦光并获取具有高时间分辨率的神经形态事件数据；以及
读出集成电路(ROIC)，所述ROIC被配置为读出所述红外图像和所述事件数据两者。
2.如权利要求1所述的成像系统，所述成像系统还包括被配置用于进行以下操作的至少一个处理模块：
在所述事件数据中检测事件；以及
根据对所述事件的检测，在目标数据和所述红外图像中的至少一者中执行目标检测和目标追踪中的至少一者。
3.如权利要求1所述的成像系统，其中所述焦平面阵列在短波红外(SWIR)光谱中操作。
4.一种成像的方法，所述方法包括：
聚焦从动态场景反射或发出的在短波红外光谱中的光；
从所述聚焦光同步地获取具有来自接收到的聚焦光的高空间分辨率和低时间分辨率的红外图像；
从所述聚焦光异步地获取具有高时间分辨率的事件数据；以及
读出所述红外图像和所述事件数据两者。
5.如权利要求4所述的方法，所述方法还包括以下各项中的至少一者：
在神经形态图像中检测事件；以及
根据对所述事件的检测，在所述事件数据和所述红外图像中的至少一者中执行目标检测和目标追踪中的至少一者。
6.一种用于对目标成像的成像系统，所述方法包括：
同步焦平面阵列，所述同步焦平面阵列用于接收聚焦光并同步地获取强度图像，所述强度图像具有来自所述接收到的聚焦光的高空间分辨率和低时间分辨率；
异步神经形态视觉系统，所述异步神经形态视觉系统被配置用于接收所述聚焦光并异步地获取事件数据，所述事件数据具有高时间分辨率；
读出集成电路(ROIC)，所述ROIC被配置为读出所述强度图像和所述事件数据两者，其中所述焦平面阵列和所述ROIC最初被配置用于以低帧速率获取和读出所述强度图像；以及
至少一个处理模块，所述至少一个处理模块被配置用于：
异步地监测所述事件数据以用于检测事件；以及
响应于检测到所述事件，控制所述焦平面阵列和所述ROIC中的至少一者以将获取或读出所述强度图像的所述帧速率从第一帧速率增大为第二帧速率。
7.如权利要求6所述的成像系统，其中所述至少一个处理模块被进一步配置用于当不再追踪到与检测到的所述事件相关联的目标时将所述帧速率减小为第三帧速率。
8.如权利要求6所述的成像系统，其中所述焦平面阵列在短波红外(SWIR)光谱中操作。
9.如权利要求6所述的成像系统，所述成像系统还包括被配置用于聚焦从动态场景反射或发出的光的光学器件模块。
10.如权利要求9所述的成像系统，其中所述光学器件模块是单个光学器件模块。
11.如权利要求6所述的成像系统，其中所述至少一个处理模块被进一步配置为执行场景重构，所述场景重构包括：
处理所述强度图像以用于获得两个连续的强度图像和所述事件数据，其中每个强度图像和事件数据具有其被获取的获取时间，所述两个连续的强度图像的所述获取时间限定时间窗，所述时间窗包括与检测到的事件对应的事件数据的获取时间；以及
通过应用机器学习来生成具有包括在所述窗中的理论获取时间的新的强度图像，其中所述至少一个处理模块是通过机器学习技术使用与已知目标相关联的强度图像和训练事件数据而训练的。
12.如权利要求11所述的成像系统，其中所述至少一个处理模块被进一步配置为：
经历所述机器学习训练，包括接收与所述已知目标相关联的训练强度图像和所述训练事件数据；
估计具有包括在训练窗中的理论训练获取时间的新的训练强度图像，所述训练窗在所述训练强度图像中的两个连续的训练强度图像的获取时间之间；
将所述估计的新的训练强度图像与在所述理论训练获取时间获取的实际图像进行比较；以及
根据所述比较的结果来调整用于机器学习的至少一个参数。
13.如权利要求11所述的成像系统，其中至少一个处理器通过使用所述强度图像作为所述两个连续的强度图像中的一者重复执行所述场景重构来递归地执行所述场景重构。
14.如权利要求6所述的成像系统，其中所述至少一个处理模块被进一步配置用于：
接收通过机器学习训练确定的已训练事件数据的模板，其中所述模板将已训练事件数据与和一个或多个相应的可能的感兴趣目标相关联的已训练强度图像相关；
将所述已获取事件数据的一部分与所述模板进行比较；以及
根据所述比较的结果，确定所述模板中的与所述已获取事件数据的所述部分相关的已训练强度图像。
15.如权利要求14所述的成像系统，其中所述至少一个处理模块被进一步配置为：
经历所述机器学习训练，包括生成所述模板，其中生成所述模板包括：
接收与相应的已知目标相关联的训练事件数据和训练强度图像；以及
将针对所述相应的已知目标中的每一者接收的所述训练事件数据与所述强度训练图像相关。
16.如权利要求15所述的成像系统，其中所述训练事件数据是通过应用核密度估计来进行滤波。
17.如权利要求15所述的成像系统，其中所述已训练事件数据是通过使用形状描述子来进行编码。
18.如权利要求14所述的成像系统，其中确定与所述已获取事件数据的所述部分相关的所述已训练强度图像包括输出表示所述确定的置信度的置信度得分。
19.如权利要求16所述的成像系统，其中在获取所述事件数据时目标的遮蔽会影响所述置信度得分。
20.如权利要求15所述的成像系统，其中生成所述模板还包括：
当所述相应的已知目标中的一个目标以至少一个不同的姿势定位和/或所述目标定位在距所述成像系统不同的距离处时，重复接收与所述目标相关联的训练事件数据和训练强度图像；以及
将针对所述目标接收的所述训练事件数据与所述强度训练图像相关。
21.一种处理使用模板获取的动态场景的强度图像和异步地获取的事件数据的方法，其中所述事件数据是响应于从场景反射或发出的光而使用神经形态视觉系统获取的，所述已获取事件数据具有高时间分辨率，所述方法包括：
接收模板，所述模板由机器学习训练确定，其中所述模板包括多个条目，每个条目包括与一个或多个已训练强度图像相关的已训练事件数据，其中所述相关的已训练事件和一个或多个已训练强度图像是响应于从同一场景反射或发出的光而同时获取的，所述已训练强度图像与一个或多个相应的可能的感兴趣目标相关联，所述已训练强度图像是从FPA同步地获取的并且具有高空间分辨率和低时间分辨率并且所述已训练事件数据是从所述神经形态视觉系统异步地获取的并且具有高时间分辨率；
接收包括查询事件数据或查询强度图像数据的查询；
确定包括已训练事件数据或已训练强度图像的所述模板中的与所述查询最相似的条目；以及
使用所述条目的所述相关的已训练强度图像或已训练事件数据来识别、检测或追踪目标。
22.如权利要求21所述的方法，其中所述查询包括查询强度图像，确定的事件包括与所述查询强度图像最相似的已训练强度图像，并且确定所述条目的所述相关的已训练事件数据，并且所述方法还包括：
接收已获取事件数据；
确定所述已获取事件数据与所述相关的已训练事件数据的相似度；以及
基于所述相似度确定的结果而检测和/或追踪目标。
23.如权利要求21所述的方法，所述方法还包括：
接收已获取事件数据，其中所述查询包括所述已获取事件数据的片段，确定的所述事件包括与已获取事件数据的所述查询的片段最相似的已训练事件数据，并且确定所述相关的已训练强度图像；以及
将确定的所述相关的已训练强度图像与所述已获取事件数据的所述片段相关联。
24.如权利要求21所述的方法，其中按照运动量值和/或方向中的至少一者来聚集所述已获取事件数据。
25.如权利要求21所述的方法，其中至少一个处理模块被进一步配置为：
经历所述机器学习训练，包括生成所述模板，其中生成所述模板包括：
接收与相应的已知目标相关联的训练事件数据和训练强度图像；
将针对所述相应的已知目标中的每一者接收的所述训练事件数据与所述强度训练图像相关；以及
将所述相关的训练事件数据和训练强度图像作为所述模板的已训练事件数据和已训练强度图像数据输出。
26.如权利要求25所述的方法，其中生成所述模板还包括：
当所述相应的已知目标中的同一目标以至少一个不同的姿势定位和/或所述目标定位在距成像系统不同的距离处时，重复接收与所述目标相关联的训练事件数据和训练强度图像。
27.如权利要求25所述的方法，其中通过应用核密度估计来对所述训练事件数据进行滤波。
28.如权利要求25所述的方法，其中通过使用形状描述子来对所述已训练事件数据进行编码。
29.如权利要求21所述的方法，其中确定所述条目包括输出表示所述条目的所述确定的置信度的置信度得分。
30.如权利要求22所述的方法，其中确定所述条目包括输出表示所述条目的所述确定的置信度的置信度得分，其中所述查询强度图像的遮蔽会影响所述置信度得分。
CN201911293340.7A 2019-10-02 2019-12-16 用于目标检测和追踪的神经形态视觉与帧速率成像 Pending CN112598700A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/591,310 US11588987B2 (en) 2019-10-02 2019-10-02 Neuromorphic vision with frame-rate imaging for target detection and tracking
US16/591310 2019-10-02

Publications (1)

Publication Number Publication Date
CN112598700A true CN112598700A (zh) 2021-04-02

Family

ID=68917652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911293340.7A Pending CN112598700A (zh) 2019-10-02 2019-12-16 用于目标检测和追踪的神经形态视觉与帧速率成像

Country Status (6)

Country Link
US (1) US11588987B2 (zh)
EP (1) EP3800580A1 (zh)
JP (1) JP7488645B2 (zh)
KR (1) KR20210039891A (zh)
CN (1) CN112598700A (zh)
TW (1) TWI816002B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506319A (zh) * 2021-07-15 2021-10-15 清华大学 图像处理方法及装置、电子设备和存储介质
WO2022221994A1 (zh) * 2021-04-19 2022-10-27 成都时识科技有限公司 具有接口系统的事件驱动集成电路
WO2023279249A1 (en) * 2021-07-05 2023-01-12 Shanghaitech University Non-line-of-sight imaging via neural transient field

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210185265A1 (en) * 2019-12-13 2021-06-17 Sony Semiconductor Solutions Corporation Methods of sensor mode switching in event based sensor and imaging camera for low power application
US11394905B2 (en) 2019-12-13 2022-07-19 Sony Semiconductor Solutions Corporation Dynamic region of interest and frame rate for event based sensor and imaging camera
US11847189B2 (en) * 2020-11-13 2023-12-19 Samsung Electronics Co, Ltd. Fusing FBIS and DVS data streams using a neural network
CN113536978B (zh) * 2021-06-28 2023-08-18 杭州电子科技大学 一种基于显著性的伪装目标检测方法
CN114429491B (zh) * 2022-04-07 2022-07-08 之江实验室 一种基于事件相机的脉冲神经网络目标跟踪方法和系统
CN116347231B (zh) * 2023-04-12 2023-10-10 北京大学 一种基于事件相机的全聚焦成像方法及系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891570B2 (en) 2001-01-31 2005-05-10 Itt Manufacturing Enterprises Inc. Method and adaptively deriving exposure time and frame rate from image motion
US20110243442A1 (en) * 2010-03-31 2011-10-06 Agrawal Amit K Video Camera for Acquiring Images with Varying Spatio-Temporal Resolutions
US20130278868A1 (en) * 2011-12-07 2013-10-24 Manufacturing Resources International, Inc. Optically Isolated Cavity For Light Sensor Feedback in LCD
EP2887009A1 (en) 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
US9591238B2 (en) 2014-08-22 2017-03-07 Voxtel, Inc. Asynchronous readout array
US9986179B2 (en) * 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
KR101668649B1 (ko) 2014-12-15 2016-10-24 전자부품연구원 주변 환경 모델링 방법 및 이를 수행하는 장치
US9641781B2 (en) 2015-03-30 2017-05-02 Hamilton Sundstrand Corporation Imaging circuit including frame asynchronous pulse detection
US9698182B2 (en) 2015-03-30 2017-07-04 Hamilton Sundstrand Corporation Digital imaging and pulse detection array
EP3387398A2 (en) 2015-12-09 2018-10-17 Flir Systems, Inc. Unmanned aerial system based thermal imaging systems and methods
KR102477659B1 (ko) 2015-12-18 2022-12-14 한화테크윈 주식회사 감시 시스템 및 그 제어 방법
WO2017213468A1 (ko) 2016-06-10 2017-12-14 한국기계연구원 열선 및 이를 포함하는 면상 발열 시트
US9948880B2 (en) 2016-08-02 2018-04-17 Sensors Unlimited, Inc. Asynchronous multimode focal plane array
US10242268B2 (en) * 2017-02-03 2019-03-26 Raytheon Company Pixel-based event detection for tracking, hostile fire indication, glint suppression, and other applications
US10175030B2 (en) 2017-03-13 2019-01-08 Sensors Unlimited, Inc. Threat detection
US10489887B2 (en) 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
US10582196B2 (en) 2017-06-30 2020-03-03 Intel Corporation Generating heat maps using dynamic vision sensor events
US10965894B2 (en) * 2017-11-20 2021-03-30 Flir Commercial Systems, Inc. Short wave infrared image sensor with automatic exposure and dynamic range control
US10345447B1 (en) * 2018-06-27 2019-07-09 Luminar Technologies, Inc. Dynamic vision sensor to direct lidar scanning
CN112534816B (zh) * 2018-08-14 2024-04-26 华为技术有限公司 用于视频图像编码的编码参数的基于事件自适应
WO2020152655A1 (en) * 2019-01-25 2020-07-30 Insightness Ag Environmental model maintenance using event-based vision sensors

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022221994A1 (zh) * 2021-04-19 2022-10-27 成都时识科技有限公司 具有接口系统的事件驱动集成电路
WO2023279249A1 (en) * 2021-07-05 2023-01-12 Shanghaitech University Non-line-of-sight imaging via neural transient field
CN113506319A (zh) * 2021-07-15 2021-10-15 清华大学 图像处理方法及装置、电子设备和存储介质
CN113506319B (zh) * 2021-07-15 2024-04-26 清华大学 图像处理方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
TWI816002B (zh) 2023-09-21
JP7488645B2 (ja) 2024-05-22
US11588987B2 (en) 2023-02-21
JP2021061573A (ja) 2021-04-15
TW202115677A (zh) 2021-04-16
EP3800580A1 (en) 2021-04-07
KR20210039891A (ko) 2021-04-12
US20210105421A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
TWI816002B (zh) 用於目標偵測及追蹤之神經形態視覺與框速率成像
Gehrig et al. End-to-end learning of representations for asynchronous event-based data
Sharma et al. An efficient dimension reduction based fusion of CNN and SVM model for detection of abnormal incident in video surveillance
EP3287949B1 (en) Image analysis system and method
US20210227126A1 (en) Deep learning inference systems and methods for imaging systems
US10346464B2 (en) Cross-modiality image matching method
US10325169B2 (en) Spatio-temporal awareness engine for priority tree based region selection across multiple input cameras and multimodal sensor empowered awareness engine for target recovery and object path prediction
US11436495B2 (en) Change detection in digital images
Cao et al. Learning spatial-temporal representation for smoke vehicle detection
Srigrarom et al. Hybrid motion-based object detection for detecting and tracking of small and fast moving drones
Fan et al. Long-term visual tracking algorithm for UAVs based on kernel correlation filtering and SURF features
Hwang et al. Interactions between specific human and omnidirectional mobile robot using deep learning approach: SSD-FN-KCF
Kepple et al. Jointly learning visual motion and confidence from local patches in event cameras
ElTantawy et al. Moving object detection from moving platforms using Lagrange multiplier
Dai et al. Overview of UAV target detection algorithms based on deep learning
Song et al. A low false negative filter for detecting rare bird species from short video segments using a probable observation data set-based EKF method
Benito-Picazo et al. Deep learning-based anomalous object detection system powered by microcontroller for ptz cameras
Samplawski et al. Heteroskedastic geospatial tracking with distributed camera networks
Xing et al. Computationally efficient RGB-T UAV detection and tracking system
Babaryka et al. Deep Learning Methods Application for Object Detection Tasks Using Unmanned Aerial Vehicles
US10765864B2 (en) Retinal-inspired method and system for improved detection
García et al. Applied machine vision and IoT
Fu et al. Research on infrared target detection based on neural network fusion
Chen et al. Event Data Association via Robust Model Fitting for Event-based Object Tracking
CHIDI et al. Exploring the Depths of Visual Understanding: A Comprehensive Review on Real-Time Object of Interest Detection Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination