CN116596971A - 一种航拍运动目标的双重检测方法及系统、存储介质 - Google Patents

一种航拍运动目标的双重检测方法及系统、存储介质 Download PDF

Info

Publication number
CN116596971A
CN116596971A CN202310616203.2A CN202310616203A CN116596971A CN 116596971 A CN116596971 A CN 116596971A CN 202310616203 A CN202310616203 A CN 202310616203A CN 116596971 A CN116596971 A CN 116596971A
Authority
CN
China
Prior art keywords
dynamic event
event group
global
dynamic
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310616203.2A
Other languages
English (en)
Inventor
王斌
陈佳媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202310616203.2A priority Critical patent/CN116596971A/zh
Publication of CN116596971A publication Critical patent/CN116596971A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种航拍运动目标的双重检测方法及系统、存储介质，其方法步骤包括：建立循环更新的全局动态事件群E，对场景标签图中的运动目标进行多边形建模，构建时空邻域，以提取出E中的局部动态事件群F；当判断F的密度达标时，膨胀时空邻域形变至正方体来作为候选目标区域；将候选目标区域映射成二值图像G；根据候选目标区域中动态事件的时间及位置信息，在对应的场景标签图中截取出新标签图；建立神经网络，根据新标签图及二值图像G，来判断是否是运动目标；建立全局目标识别网络，以候选目标区域中的所有动态事件作为标签，以E为输入，完成训练输出运动目标信息。籍此解决仿生动态事件无法用于神经网络训练及检测的问题。

Description

一种航拍运动目标的双重检测方法及系统、存储介质
技术领域
本发明涉及运动目标检测技术，尤其涉及基于仿生动态事件与多边体定位方案的，航拍运动目标双重检测方法及系统、存储介质。
背景技术
由于传统视觉传感器获取的视频序列数据量巨大、信息冗余度高，这些缺点导致基于该类视频的目标检测算法运行速度慢、实时性差。
而仿生动态传感器（DVS/EVS）输出的动态事件在稀疏性、抗运动模糊性、动态范围及对光照的要求等方面，相比传统视觉传感器获取的视频，具有很强的互补优势。但问题在于，目前将仿生动态事件应用于航拍中的运动物体检测，则会面临动态信号包含的信息较少，且无法直接被现有目标检测算法处理等问题。
另一方面，现有借助于各种较为复杂的神经网络模型，基于传统航拍视频的目标检测算法，在检测精度上较以往算法已有较大幅度提升。但对于无人机提供的高分辨率图像，这些算法仍需要依靠滑窗技术来覆盖整个画面，因此在处理器算力的限制下，这些算法运行速度较慢，难以直接应用于无人机这种低功耗图像处理平台，即便在检测模块使用轻量化网络模型，也无法在检测准确度与检测实时性中获得较好平衡。
此外，目前基于仿生动态事件的目标检测算法，多将动态事件在一定时间间隔内积分，形成静态帧图像，以便直接使用深度学习等算法进行研究。但这种处理方式虽可以将仿生动态事件与深度学习集成到目标检测框架中，却无法充分利用仿生动态事件的稀疏性与异步性，而积分形成的静态帧图像，也无法表达仿生动态事件所包含的时间信息。从而这些问题，导致了现有技术无法将仿生动态事件用于神经网络的训练及检测。
发明内容
为此，本发明的主要目的在于提供一种航拍运动目标的双重检测方法及系统、存储介质，以实现直接处理异步稀疏的仿生动态事件，来聚焦出有候选运动目标的区域，从而解决仿生动态事件无法用于神经网络训练及检测的问题。
为了实现上述目的，根据本发明的第一个方面，提供了一种航拍运动目标的双重检测方法，其步骤包括：
步骤S100获取仿生动态事件流，建立循环更新的全局动态事件群E，对场景标签图中的运动目标进行多边形建模，构建时空邻域，以提取出E中的局部动态事件群F；
步骤S200当判断局部动态事件群F的密度达标时，膨胀时空邻域形变至正方体来作为候选目标区域；
步骤S300将候选目标区域映射成二值图像G；根据候选目标区域中动态事件的时间及位置信息，在对应的场景标签图中截取出新标签图；
步骤S400建立目标轮廓识别网络，提取新标签图中的运动目标轮廓；建立目标检测网络，以二值图像G及运动目标轮廓信息为输入，进行融合训练，以判断二值图像G是否是运动目标；
步骤S500建立全局目标识别网络，以候选目标区域中的所有动态事件作为标签，以全局动态事件群E为输入，完成训练，以输出运动目标信息。
在可能的优选实施方式中，其中步骤S100中，循环更新的全局动态事件群E建立步骤包括：
步骤S110缓存时间段内的仿生动态事件流，建立全局动态事件群E；
步骤S120从仿生动态事件流中读取新的动态事件e，找出全局动态事件群E中所有 动态事件的时间最小值，以e的时间信息t为基准，若t->，则需要删除全局动态事 件群E中时间戳与t之差的绝对值大于的动态事件，来刷新全局动态事件群E。
在可能的优选实施方式中，其中步骤S100中，多边形建模步骤包括：
步骤S130从场景标签图中选取单个运动目标，以运动目标的长度为直径、中心坐标为圆心，构建外切圆；
步骤S140在外切圆中构建多边形，以包围运动目标；计算多边形的各个顶点相对 于运动目标中心坐标的距离与角度，以构建对应关系函数，完成建模。
在可能的优选实施方式中，其中步骤S100中，时空邻域构建步骤包括：
步骤S150以动态事件e的位置信息为中心，根据关系函数，构建以e为中心的多 边形作为空间邻域；
步骤S160在时间维度选取为长度，拉伸多边形空间邻域，以构建时空邻域。
在可能的优选实施方式中，其中步骤S200中，步骤还包括：
步骤S210当判断局部动态事件群F的密度未达标时，在预设次数内，若能调整时空邻域的空间位置，直至达标时，执行步骤S300；
步骤S220若仍未达标的，则将当前动态事件e存入全局动态事件群E，并读取新的动态事件e来执行步骤S200。
在可能的优选实施方式中，其中步骤S200中，步骤还包括：
步骤S230将被判定为候选目标区域的局部动态事件群F内所有动态事件，从全局动态事件群E中删除，以更新全局动态事件群E。
在可能的优选实施方式中，其中步骤S300中，将候选目标区域映射成二值图像G的步骤包括：
步骤S310初始化一张分辨率为LL的二值图片P，设每个位置像素值为0，其中L为 方形候选目标区域的长度；
步骤S320读取候选目标区域的局部动态事件群F内所有动态事件，根据各动态事件的位置信息，将其映射至二值图片P中；
步骤S330将P中所有动态事件映射的位置像素值赋为255，得到二值图像G。
为了实现上述目的，对应上述方法，本发明第二个方面，还提供了一种航拍运动目标的双重检测系统，其包括：
存储单元，用于存储包括如上中任一所述航拍运动目标的双重检测方法步骤的程序，以供定位单元，第一检测单元，训练集处理单元，第二检测单元，适时调取执行；
定位单元，用于缓存时间段内的仿生动态事件流，建立全局动态事件群E，并循 环更新；构建以新读取的动态事件e为中心、运动目标的多边形建模为空间邻域、为长度 组建时空邻域，以此提取出E中的局部动态事件群F；判断局部动态事件群F的密度，当达标 时，膨胀时空邻域形变至正方体来作为候选目标区域，并将此候选目标区域内的局部动态 事件群F，从全局动态事件群E中删除；
训练集处理单元，用于将候选目标区域按坐标信息映射成二值图像G；并根据候选目标区域中e的时间信息，找到对应时间戳的场景标签图，再根据e的位置信息，在场景标签图中标定出对应的候选目标区域，并截取出新标签图；
第一检测单元，用于根据新标签图及二值图像G，来进行是否是运动目标的识别；
第二检测单元，用于以正样本对应的候选目标区域中的所有动态事件作为标签，以全局动态事件群E为输入，完成对全局目标识别网络的训练后，识别动态事件中的运动目标信息。
在可能的优选实施方式中，其中检测单元包括：目标轮廓识别网络，用于提取新标签图中的运动目标轮廓；目标检测网络，用于以二值图像G及运动目标轮廓信息为输入，进行融合训练，以判断二值图像G是否是运动目标。
为了实现上述目的，对应上述方法，本发明第三个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上中任一项所述航拍运动目标的双重检测方法的步骤。
通过本发明提供的该一种航拍运动目标的双重检测方法及系统、存储介质，能够逐个处理仿生动态事件，充分利用仿生动态事件的异步稀疏性，使得整体算法冗余数据更少；同时通过创新设计的多边体建模方案，从仿生动态事件流中定位候选目标，由此可快速剔除场景内无用信息，聚焦有运动目标的区域，籍此提高算法响应速度。
此外通过候选目标的定位结果，可解决仿生动态事件用于神经网络训练时缺乏标签的问题，使得仿生动态事件可被用于神经网络的训练及检测，从而充分发挥仿生动态事件在运动检测领域的优势，提升整体算法实时性与检测准确度。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的航拍运动目标的双重检测方法步骤示意图；
图2为本发明的航拍运动目标的双重检测方法逻辑构架示意图；
图3为本发明的航拍运动目标的双重检测方法中，对场景标签图中的运动目标进行十二边形建模的示意图；
图4为本发明的航拍运动目标的双重检测方法中，十二边形时空邻域示意图；
图5为本发明的航拍运动目标的双重检测方法中，时空邻域从全局动态事件群E中提取出局部动态事件群F的示意图；
图6为本发明的航拍运动目标的双重检测方法中，时空邻域膨胀为正方体的候选目标区域的示意图；
图7为本发明的航拍运动目标的双重检测方法中，候选目标区域按坐标信息映射成二值图像G的示意图；
图8为本发明的航拍运动目标的双重检测方法中新标签图的示意图；
图9为本发明的航拍运动目标的双重检测方法中从新标签图中提取出车辆轮廓的示意图；
图10为本发明的航拍运动目标的双重检测系统构建的示意图。
具体实施方式
为了使本领域的技术人员能够更好的理解本发明的技术方案，下面将结合实施例来对本发明的具体技术方案进行清楚、完整地描述，以助于本领域的技术人员进一步理解本发明。显然，本案所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思及相互不冲突的前提下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，在本领域普通技术人员没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的揭露及保护范围。
此外本发明的说明书和权利要求书及附图中的术语“第一”、“第二”、“S1”、“S2”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里描述的那些以外的顺序实施。同时本发明中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。除非另有明确的规定和限定，术语“设置”、“布设”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况，结合现有技术来理解上述术语在本案中的具体含义。
为了实现直接处理异步稀疏的仿生动态事件，来聚焦出有候选运动目标的区域，从而解决仿生动态事件无法用于神经网络训练及检测的问题。
请参阅图1至图9所示，本发明提供了一种航拍运动目标的双重检测方法，其步骤包括：
步骤S100获取仿生动态事件流，建立循环更新的全局动态事件群E，对场景标签图中的运动目标进行多边形建模，构建时空邻域，以提取出E中的局部动态事件群F。
具体来说，本发明示例的该方法所适配的航拍设备，优选使用事件相机与传统相机对同一场景进行同轴拍摄，同时获取仿生动态信号、场景图片以及每一帧场景图片对应的时间信息，并将场景图片作为整体算法的场景标签图。
其中本示例下，该步骤S100中，循环更新的全局动态事件群E建立步骤包括：
步骤S110缓存时间段内的仿生动态事件流，建立全局动态事件群E。
例如：将获取到的仿生动态信号，按时间顺序排序组成仿生动态事件流，然后从排 好序的仿生动态事件流中，提取0到时间段内的事件，建立全局动态事件群E。
步骤S120从仿生动态事件流中读取新的动态事件e，找出全局动态事件群E中所有 动态事件的时间最小值，以e的时间信息t为基准，若t->，则需要删除全局动态事 件群E中时间戳与t之差的绝对值大于的动态事件，来刷新全局动态事件群E。
进一步的，在步骤S100中，多边形建模步骤包括：
步骤S130从场景标签图中选取单个运动目标，以运动目标的长度为直径、中心坐标为圆心，构建外切圆。
步骤S140在外切圆中构建多边形，以包围运动目标；计算多边形的各个顶点相对 于运动目标中心坐标的距离与角度，以构建对应关系函数，完成建模。
具体来说，以该运动目标为车辆为例，为了更精准地提取车辆所在区域，本示例优选采用十二边形对场景标签图中的车辆进行建模，因为相比于矩形，十二边形可以更贴切地描绘出车辆的形状，除此以外，在其他示例中，本领域技术人员亦可根据运动目标的种类及其实际形态，来适配不同的多边形进行建模。
如图3所示，本示例的建模过程包括：选取场景标签图中的单个车辆，以车辆的长 为直径，先构建车辆的外切圆，圆心为车辆的中心坐标。其中外切圆用以初步框选车 辆所在区域。
其次在外切圆中构建十二边形，其中该十二边形的上下边为外切圆的弦。之后调 整十二边形，使车辆可以恰好落在十二边形区域内，然后计算十二边形的十二个顶点相对 于车辆中心坐标的距离与角度，为每一个顶点构建该顶点与车辆中心坐标的关系函数。
由此，通过十二个顶点与车辆中心点坐标的关系，可以确定出一个能够 描绘出车辆形状的对称十二边形。
进一步的，在步骤S100中，时空邻域构建步骤包括：
步骤S150以动态事件e的位置信息为中心，根据关系函数，构建以e为中心的多 边形作为空间邻域。
步骤S160在时间维度选取为长度，拉伸多边形空间邻域，以构建时空邻域。
具体来说，如图4至图5所示，以动态事件e的位置信息为中心，根据步骤 S140获取的十二边形顶点与中心点关系函数，构建以动态事件e为中心的十二边 形作为空间邻域。
之后在时间维度选取为长度，即可构建如图4所示，形状为十二边体的时空邻 域，而后便可从全局动态事件群E中，提取落入该时空邻域内的所有动态事件，提取范围如 图5所示，由此组成以动态事件e为中心的局部动态事件群F。
步骤S200当判断局部动态事件群F的密度达标时，膨胀时空邻域形变至正方体来作为候选目标区域。
具体的，首先可定义局部动态事件群F的密度为其内部事件总数，设定阈值N。若局部动态事件群密度达到N，则判定其为候选目标区域，如图6所示，以将x-y平面的十二边形膨胀至正方形，并输出局部动态事件群F中心点动态事件e的坐标、时间等信息，并保存经膨胀处理后的候选目标区域。
由于此时局部动态事件群F，在膨胀前已经被判定为可能含有车辆的候选目标区域，因此因膨胀而进入该区域的动态事件，不会对该区域是否含有车辆这一判定产生影响。同时，将候选目标区域的空间邻域膨胀至正方形后，更便于后续使用神经网络进行进一步检测与处理。
另一方面，若该局部动态事件群F的密度没有达到阈值N，则可执行以下步骤：
步骤S210当判断局部动态事件群F的密度未达标时，在预设次数内，若能调整时空邻域的空间位置，直至达标时，执行步骤S300。
步骤S220若仍未达标的，则将当前动态事件e存入全局动态事件群E，并读取新的动态事件e来执行步骤S200。
具体来说，在示例中，考虑到场景内的车辆可能存在一定偏转角度，若局部动态事件群F的密度没有达到阈值，可将十二边体时空邻域在x-y平面内顺时针旋转来进行空间位置调整，例如：每次旋转15°，并再次判断是否达到密度阈值。
若十二边体旋转完12次，提取出的局部动态事件群F的密度仍未达到阈值N，则将当前动态事件e存入全局动态事件群E，并从仿生动态事件流中读取下一个动态事件，并重复来执行步骤S200。
此外，为了防止重复定位，其中在步骤S200中，步骤还包括：步骤S230将被判定为候选目标区域的局部动态事件群F内所有动态事件，从全局动态事件群E中删除，以更新全局动态事件群E，籍此防止重复定位。
步骤S300将候选目标区域映射成二值图像G；根据候选目标区域中动态事件的时间及位置信息，在对应的场景标签图中截取出新标签图。
其中步骤S300中，将候选目标区域映射成二值图像G的步骤包括：
步骤S310初始化一张分辨率为LL的二值图片P，设每个位置像素值为0，其中L为 方形候选目标区域的长度。
步骤S320读取候选目标区域的局部动态事件群F内所有动态事件，根据各动态事件的位置信息，将其映射至二值图片P中，该映射函数为：
其中为候选目标区域内每个动态事件的位置坐标，为中心点处的动态 事件e的坐标，为中心点动态事件的时间信息，是每个动态事件映射后的新坐标。
步骤S330将P中所有动态事件映射的位置像素值赋为255，即可得到如图7所示的二值图像G。
此外截取出新标签图的示例步骤包括：
步骤S340根据候选目标区域中心动态事件e的时间信息，将该中心事件定位至时间戳最接近的场景标签图中。
步骤S350根据候选目标区域空间邻域中，正方形的边长L与候选目标区域中心动 态事件e的位置信息，从场景标签图中截取出对应候选目标区域，得到尺寸为LL的新标签 图。
其中，该新标签图与候选目标区域一一对应，若新标签图中含有车辆，则代表对应的候选目标区域内含有车辆，该区域为正样本，否则为负样本。新标签图如图8所示。
步骤S400建立目标轮廓识别网络，提取出新标签图中的运动目标轮廓，如图9所示。另一方面，还需建立目标检测网络，以二值图像G及运动目标轮廓信息为输入，进行融合训练，以判断二值图像G中是否是运动目标，如车辆。其中在训练时融合标签图中的车辆轮廓信息，是为了使网络学习到更多的目标特征。
步骤S500建立全局目标识别网络，以候选目标区域中的所有动态事件作为标签，以全局动态事件群E为输入，完成训练，以输出运动目标信息。
具体的，该全局目标识别网络，主要用于从3D点云状的全局动态事件群E中检测车辆目标。为此，在训练过程中，由于前述得到的正样本中的候选目标区域，含有车辆的动态事件，因此可作为标签，训练本网络，从而解决现有技术所困惑的问题。
最后以前述得到的全局动态事件群E做为输入，利用训练后的全局目标识别网络，便可从全局动态事件群E中检测出车辆目标，得到车辆目标的中心点动态事件信息。
由此，通过上述示例的方案，一方面可将仿生动态信号转为候选目标区域，以供用目标轮廓识别、目标检测神经网络检测该区域是否为车辆，另一方面通过全局目标识别网络，可直接从全局动态事件群E中检测车辆信息（即车辆在x-y平面的位置坐标信息）,籍此实现了航拍运动目标的双重检测。
对应上述方法，如图10所示，本发明还提供了一种航拍运动目标的双重检测系统，其包括：
存储单元，用于存储包括如上中任一所述航拍运动目标的双重检测方法步骤的程序，以供定位单元，第一检测单元，训练集处理单元，第二检测单元，适时调取执行。
定位单元，用于缓存时间段内的仿生动态事件流，建立全局动态事件群E，并循 环更新；构建以新读取的动态事件e为中心、运动目标的多边形建模为空间邻域、为长度 组建时空邻域，以此提取出E中的局部动态事件群F；判断局部动态事件群F的密度，当达标 时，膨胀时空邻域形变至正方体来作为候选目标区域，并将此候选目标区域内的局部动态 事件群F，从全局动态事件群E中删除。
训练集处理单元，用于将候选目标区域按坐标信息映射成二值图像G；并根据候选目标区域中e的时间信息，找到对应时间戳的场景标签图，再根据e的位置信息，在场景标签图中标定出对应的候选目标区域，并截取出新标签图。
第一检测单元，用于根据新标签图及二值图像G，来进行是否是运动目标的识别。
第二检测单元，用于以正样本对应的候选目标区域中的所有动态事件作为标签，以全局动态事件群E为输入，完成对全局目标识别网络的训练后，识别动态事件中的运动目标信息。
在优选示例中，所示检测单元包括：目标轮廓识别网络，用于提取新标签图中的运动目标轮廓；目标检测网络，用于以二值图像G及运动目标轮廓信息为输入，进行融合训练，以判断二值图像G是否是运动目标。
对应上述方法，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上中任一项所述航拍运动目标的双重检测方法的步骤。
综上所述，通过本发明提供的该一种航拍运动目标的双重检测方法及系统、存储介质，能够逐个处理仿生动态事件，充分利用仿生动态事件的异步稀疏性，使得整体算法冗余数据更少；同时通过创新设计的多边体建模方案，从仿生动态事件流中定位候选目标，由此可快速剔除场景内无用信息，聚焦有运动目标的区域，籍此提高算法响应速度。
此外通过候选目标的定位结果，可解决仿生动态事件用于神经网络训练时缺乏标签的问题，使得仿生动态事件可被用于神经网络的训练及检测，从而充分发挥仿生动态事件在运动检测领域的优势，提升整体算法实时性与检测准确度。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本领域技术人员可以理解，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置、单元及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置、单元及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
此外实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (10)

1.一种航拍运动目标的双重检测方法，其步骤包括：
步骤S100获取仿生动态事件流，建立循环更新的全局动态事件群E，对场景标签图中的运动目标进行多边形建模，构建时空邻域，以提取出E中的局部动态事件群F；
步骤S200当判断局部动态事件群F的密度达标时，膨胀时空邻域形变至正方体来作为候选目标区域；
步骤S300将候选目标区域映射成二值图像G；根据候选目标区域中动态事件的时间及位置信息，在对应的场景标签图中截取出新标签图；
步骤S400建立目标轮廓识别网络，提取新标签图中的运动目标轮廓；建立目标检测网络，以二值图像G及运动目标轮廓信息为输入，进行融合训练，以判断二值图像G是否是运动目标；
步骤S500建立全局目标识别网络，以候选目标区域中的所有动态事件作为标签，以全局动态事件群E为输入，完成训练，以输出运动目标信息。
2.根据权利要求1所述的航拍运动目标的双重检测方法，其中步骤S100中，循环更新的全局动态事件群E建立步骤包括：
步骤S110缓存时间段内的仿生动态事件流，建立全局动态事件群E；
步骤S120从仿生动态事件流中读取新的动态事件e，找出全局动态事件群E中所有动态事件的时间最小值，以e的时间信息t为基准，若t-/>>/>，则需要删除全局动态事件群E中时间戳与t之差的绝对值大于/>的动态事件，来刷新全局动态事件群E。
3.根据权利要求2所述的航拍运动目标的双重检测方法，其中步骤S100中，多边形建模步骤包括：
步骤S130从场景标签图中选取单个运动目标，以运动目标的长度为直径、中心坐标为圆心，构建外切圆；
步骤S140在外切圆中构建多边形，以包围运动目标；计算多边形的各个顶点相对于运动目标中心坐标的距离与角度，以构建对应关系函数，完成建模。
4.根据权利要求3所述的航拍运动目标的双重检测方法，其中步骤S100中，时空邻域构建步骤包括：
步骤S150以动态事件e的位置信息为中心，根据关系函数，构建以e为中心的多边形作为空间邻域；
步骤S160在时间维度选取为长度，拉伸多边形空间邻域，以构建时空邻域。
5.根据权利要求3所述的航拍运动目标的双重检测方法，其中步骤S200中，步骤还包括：
步骤S210当判断局部动态事件群F的密度未达标时，在预设次数内，若能调整时空邻域的空间位置，直至达标时，执行步骤S300；
步骤S220若仍未达标的，则将当前动态事件e存入全局动态事件群E，并读取新的动态事件e来执行步骤S200。
6.根据权利要求1所述的航拍运动目标的双重检测方法，其中步骤S200中，步骤还包括：
步骤S230将被判定为候选目标区域的局部动态事件群F内所有动态事件，从全局动态事件群E中删除，以更新全局动态事件群E。
7.根据权利要求1所述的航拍运动目标的双重检测方法，其中步骤S300中，将候选目标区域映射成二值图像G的步骤包括：
步骤S310初始化一张分辨率为LL的二值图片P，设每个位置像素值为0，其中L为方形候选目标区域的长度；
步骤S320读取候选目标区域的局部动态事件群F内所有动态事件，根据各动态事件的位置信息，将其映射至二值图片P中；
步骤S330将P中所有动态事件映射的位置像素值赋为255，得到二值图像G。
8.一种航拍运动目标的双重检测系统，其包括：
存储单元，用于存储包括如权利要求1至7中任一所述航拍运动目标的双重检测方法步骤的程序，以供定位单元，第一检测单元，训练集处理单元，第二检测单元，适时调取执行；
定位单元，用于缓存时间段内的仿生动态事件流，建立全局动态事件群E，并循环更新；构建以新读取的动态事件e为中心、运动目标的多边形建模为空间邻域、/>为长度组建时空邻域，以此提取出E中的局部动态事件群F；判断局部动态事件群F的密度，当达标时，膨胀时空邻域形变至正方体来作为候选目标区域，并将此候选目标区域内的局部动态事件群F，从全局动态事件群E中删除；
训练集处理单元，用于将候选目标区域按坐标信息映射成二值图像G；并根据候选目标区域中e的时间信息，找到对应时间戳的场景标签图，再根据e的位置信息，在场景标签图中标定出对应的候选目标区域，并截取出新标签图；
第一检测单元，用于根据新标签图及二值图像G，来进行是否是运动目标的识别；
第二检测单元，用于以正样本对应的候选目标区域中的所有动态事件作为标签，以全局动态事件群E为输入，完成对全局目标识别网络的训练后，识别动态事件中的运动目标信息。
9.根据权利要求8所述的航拍运动目标的双重检测系统，其中检测单元包括：
目标轮廓识别网络，用于提取新标签图中的运动目标轮廓；
目标检测网络，用于以二值图像G及运动目标轮廓信息为输入，进行融合训练，以判断二值图像G是否是运动目标。
10.一种计算机可读存储介质，其上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述航拍运动目标的双重检测方法的步骤。
CN202310616203.2A 2023-05-29 2023-05-29 一种航拍运动目标的双重检测方法及系统、存储介质 Pending CN116596971A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310616203.2A CN116596971A (zh) 2023-05-29 2023-05-29 一种航拍运动目标的双重检测方法及系统、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310616203.2A CN116596971A (zh) 2023-05-29 2023-05-29 一种航拍运动目标的双重检测方法及系统、存储介质

Publications (1)

Publication Number Publication Date
CN116596971A true CN116596971A (zh) 2023-08-15

Family

ID=87589668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310616203.2A Pending CN116596971A (zh) 2023-05-29 2023-05-29 一种航拍运动目标的双重检测方法及系统、存储介质

Country Status (1)

Country Link
CN (1) CN116596971A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912798A (zh) * 2023-09-14 2023-10-20 南京航空航天大学 基于跨模态噪声感知的自动驾驶事件相机目标检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912798A (zh) * 2023-09-14 2023-10-20 南京航空航天大学 基于跨模态噪声感知的自动驾驶事件相机目标检测方法
CN116912798B (zh) * 2023-09-14 2023-12-19 南京航空航天大学 基于跨模态噪声感知的自动驾驶事件相机目标检测方法

Similar Documents

Publication Publication Date Title
US11144786B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
CN111652934B (zh) 定位方法及地图构建方法、装置、设备、存储介质
CN110084850B (zh) 一种基于图像语义分割的动态场景视觉定位方法
CN111209915B (zh) 一种基于深度学习的三维图像同步识别和分割方法
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
CN109785298B (zh) 一种多角度物体检测方法和系统
CN110246141B (zh) 一种基于联合角点池化的复杂交通场景下车辆图像分割方法
CN113313763B (zh) 一种基于神经网络的单目相机位姿优化方法及装置
CN111738036B (zh) 图像处理方法、装置、设备及存储介质
CN111652929A (zh) 一种视觉特征的识别定位方法及系统
CN111768498A (zh) 基于稠密语义三维地图与混合特征的视觉定位方法、系统
CN112037142B (zh) 一种图像去噪方法、装置、计算机及可读存储介质
CN112634368A (zh) 场景目标的空间与或图模型生成方法、装置及电子设备
CN111323024A (zh) 定位方法及装置、设备、存储介质
CN114117614A (zh) 一种建筑物立面纹理自动生成方法和系统
CN116596971A (zh) 一种航拍运动目标的双重检测方法及系统、存储介质
CN113989744A (zh) 一种基于超大尺寸高分辨图像的行人目标检测方法及系统
CN112465854A (zh) 基于无锚点检测算法的无人机跟踪方法
CN110909656B (zh) 一种雷达与摄像机融合的行人检测方法和系统
CN114049356A (zh) 一种结构表观裂缝检测方法、装置及系统
CN111626241A (zh) 一种人脸检测方法及装置
CN104463962A (zh) 基于gps信息视频的三维场景重建方法
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
CN112699713B (zh) 一种语义线段信息的检测方法及装置
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination