CN116416602A - 基于事件数据与图像数据联合的运动目标检测方法及系统 - Google Patents

基于事件数据与图像数据联合的运动目标检测方法及系统 Download PDF

Info

Publication number
CN116416602A
CN116416602A CN202310408477.2A CN202310408477A CN116416602A CN 116416602 A CN116416602 A CN 116416602A CN 202310408477 A CN202310408477 A CN 202310408477A CN 116416602 A CN116416602 A CN 116416602A
Authority
CN
China
Prior art keywords
frame
event
target
event data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310408477.2A
Other languages
English (en)
Other versions
CN116416602B (zh
Inventor
刘登峰
孙雪
郭文静
郭虓赫
吴秦
柴志雷
陈璟
周浩杰
王宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202310408477.2A priority Critical patent/CN116416602B/zh
Publication of CN116416602A publication Critical patent/CN116416602A/zh
Application granted granted Critical
Publication of CN116416602B publication Critical patent/CN116416602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于事件数据与图像数据联合的运动目标检测方法及系统，该方法包括获取稀疏事件数据和标准图像帧；对稀疏事件数据进行重构处理得到事件帧，输入到卷积神经网络中进行训练，并计算得到目标在事件帧上的位置；将标准图像帧从RGB色彩空间转化HSV色彩空间，进行二值化处理得到二值化帧；将得到的目标位置转换到二值化帧中，并统计二值化帧中目标位置区域的白色像素数；判断目标位置区域中的白色像素数对于整个二值化帧中白色像素数的占比是否超过设定的阈值，如果是，则所述目标被正确检测出，否则检测出错误的目标。本发明解决了对图像中特定的目标进行检测时，仅利用事件相机获取的数据，不易区分不同目标的问题。

Description

基于事件数据与图像数据联合的运动目标检测方法及系统
技术领域
本发明涉及运动目标检测技术领域，尤其涉及一种基于事件数据与图像数据联合的运动目标检测方法及系统。
背景技术
运动目标检测一直是计算机领域研究和应用的热点，广泛的应用与视频监控、自动驾驶等领域。随着计算机技术的迭代和升级，目标检测的精度和速度需求在不断提高，尤其是在复杂场景下，如高速运动的场景、光照强度过强或过暗的场景等。同时算法的资源消耗与计算时间也在不断增加，运动目标检测的效果仍需要进一步提高。
在现有的目标检测算法的研究中，基于传统相机获取的图像和视频的目标检测算法越来越复杂(传统相机得到的标准图像不利于处理高速运动的场景)，并且需要越来越多的存储和计算资源。基于事件相机的目标检测算法在处理快速运动的目标物体和减少数据信息冗余方面表现出色，但事件相机得到的事件数据不利于处理缓慢运动的场景；此外，当一个图像帧中有多个目标时，有时候需要检测特定的某个目标，这种情况在一般检测的算法中会面临很大的挑战。而事件数据包含的信息量很少，如果只使用事件相机获取的数据，区分不同目标会很难。
因此，如何设计出能够在复杂环境下高速准确地检测运动目标的算法，仍然是计算机视觉领域亟待解决的难题之一。
发明内容
为此，本发明实施例提供了一种基于事件数据与图像数据颜色联合的运动目标检测方法及系统，用于解决现有技术中对图像中特定的目标进行检测时，仅利用事件相机获取的数据，不易区分不同目标的问题。
为了解决上述问题，本发明实施例提供一种基于事件数据与图像数据颜色联合的运动目标检测方法，该方法包括：
S1：获取稀疏事件数据和标准图像帧；
S2：对所述稀疏事件数据进行重构处理得到事件帧，将所述事件帧输入到提前构建好的卷积神经网络中进行训练得到基于事件数据的运动目标检测模型，并计算得到目标在事件帧上的位置；
S3：将所述标准图像帧从RGB色彩空间转化HSV色彩空间，并对特定颜色的目标进行二值化处理，得到标准图像帧的二值化帧；
S4：将经过卷积神经网络检测得到的目标位置转换到二值化帧中，并统计二值化帧中目标位置区域的白色像素数；
S5：判断目标位置区域中的白色像素数对于整个二值化帧中白色像素数的占比是否超过设定的阈值，如果是，则所述目标被正确检测出，否则检测出错误的目标。
优选地，所述稀疏事件数据利用事件相机获得，所述标准图像帧利用传统相机获得。
优选地，对所述稀疏事件数据进行重构处理得到事件帧的方法为：
采用事件积分模型对稀疏事件数据进行处理，将一个时间段内事件数据都投影在一个表面上实现事件帧的重构，其中所述事件积分模型为：
Figure BDA0004182422690000021
其中，ex,y(t)表示随时间变化的连续函数，δ(t)是一个脉冲函数，事件序列被脉冲函数转换成连续的时间信号，
Figure BDA0004182422690000031
表示时间戳为t位置在(x,y)的事件极性，基于上述公式，图像中每一个像素点位置都可以有一个ex,y(t)来表示。
优选地，所述提前构建好的卷积神经网络为YOLO卷积神经网络。
优选地，将所述标准图像帧从RGB色彩空间转化HSV色彩空间，并对特定颜色的目标进行二值化处理，得到标准图像帧的二值化帧的方法为：
将标准图像帧从RGB色彩空间转化为HSV色彩空间，并对转化后的HSV帧进行二值化处理，将HSV帧中的目标对象的颜色位置变为白色像素，其他位置变为黑色像素，最终得到标准图像帧的二值化帧。
优选地，目标位置区域中的白色像素数对于整个二值化帧中白色像素数的占比的计算方法为：
Figure BDA0004182422690000032
其中，T表示目标位置区域中的白色像素数对于整个二值化帧中白色像素数的占比，Nw表示目标位置区域中的白色像素数量，Na表示二值化帧中的所有白色像素的数量。
本发明实施例还提供了一种基于事件数据与图像数据颜色联合的运动目标检测系统，该系统包括：
图像数据获取模块，用于获取稀疏事件数据和标准图像帧；
预测模块，用于对所述稀疏事件数据进行重构处理得到事件帧，将所述事件帧输入到提前构建好的卷积神经网络中进行训练得到基于事件数据的运动目标检测模型，并计算得到目标在事件帧上的位置；
标准图像帧处理模块，用于将所述标准图像帧从RGB色彩空间转化HSV色彩空间，并对特定颜色的目标进行二值化处理，得到标准图像帧的二值化帧；
颜色联合模块，用于将经过卷积神经网络检测得到的目标位置转换到二值化帧中，并统计二值化帧中目标对象位置区域的白色像素数；
判断模块，用于判断目标位置区域中的白色像素数对于整个二值化帧中白色像素数的占比是否超过设定的阈值，如果是，则所述目标被正确检测出，否则检测出错误的目标。
本发明实施例还提供了一种检测装置，，包括处理器、存储器和总线系统，所述处理器和存储器通过该总线系统相连，所述存储器用于存储指令，所述处理器用于执行存储器存储的指令，以实现上述任意一项所述的基于事件数据与图像数据颜色联合的运动目标检测方法。
本发明实施例还提供了一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机软件产品，所述计算机软件产品包括的若干指令，用以使得一台计算机设备执行上述任意一项所述的基于事件数据与图像数据颜色联合的运动目标检测方法。
从以上技术方案可以看出，本发明申请具有以下优点：
本发明实施例提供一种基于事件数据与图像数据颜色联合的运动目标检测方法及系统，本发明将重构后的事件帧传入卷积神经网络进行训练得到基于事件数据的运动目标检测模型，并计算出预测的运动目标区域；而将标准图像做HSV转化，以便图像处理过程的更好实现，并针对于特定颜色的目标进行二值化处理，将经过卷积神经网络检测得到的目标位置转换到二值化帧中；计算白色色素的占比，基于占比值与设定阈值的大小关系来判断检测结果，实现了对图像中特定的目标的检测。
附图说明
为了更清楚地说明本发明实施案例或现有技术中的技术方案，下边将对实施例中所需要使用的附图做简单说明，通过参考附图会更清楚的理解本发明的特征和优点，附图是示意性的而不应该理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：
图1为根据实施例中提供的一种基于事件数据与图像数据颜色联合的运动目标检测方法的流程图；
图2为YOLO v5s卷积神经网络的结构示意图；
图3为根据实施例中提供的一种基于事件数据与图像数据颜色联合的运动目标检测系统的框图；
图4(a)、(b)、(c)分别为标准图像、HSV图像与二值化图像；
图5为多个同色目标的检测结果示意图；
图6为运动目标移动速度缓慢时的检测结果示意图；
图7为运动目标移动速度很快时的检测结果示意图；
图8为运动目标移动速度适中时的检测结果示意图；
图9为基于概率的联合检测结果可视化示意图。
具体实施方式
为使本发明实施例的目的、技术方案与优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种基于事件数据与图像数据颜色联合的运动目标检测方法，该方法包括：
S1：获取稀疏事件数据和标准图像帧；
S2：对所述稀疏事件数据进行重构处理得到事件帧，将所述事件帧输入到提前构建好的卷积神经网络中进行训练得到基于事件数据的运动目标检测模型，并计算得到目标在事件帧上的位置；
S3：将所述标准图像帧从RGB色彩空间转化HSV色彩空间，并对特定颜色的目标进行二值化处理，得到标准图像帧的二值化帧；
S4：将经过卷积神经网络检测得到的目标位置转换到二值化帧中，并统计二值化帧中目标位置区域的白色像素数；
S5：判断目标位置区域中的白色像素数对于整个二值化帧中白色像素数的占比是否超过设定的阈值，如果是，则所述目标被正确检测出，否则检测出错误的目标。
本发明实施例提供一种基于事件数据与图像数据的概率联合目标检测方法，本发明将重构后的事件帧传入卷积神经网络进行训练得到基于事件数据的运动目标检测模型，并计算出预测的运动目标区域；而将标准图像做HSV转化，以便图像处理过程的更好实现，并针对于特定颜色的目标进行二值化处理，将经过卷积神经网络检测得到的目标位置转换到二值化帧中；计算白色色素的占比，基于占比值与设定阈值的大小关系来判断检测结果，实现了对图像中特定的目标的检测。
通过利用事件相机获得稀疏事件数据，利用传统相机获得标准图像帧。采用事件积分模型对稀疏事件数据进行处理，将一个时间段内事件数据都投影在一个表面上实现事件帧的重构，其中所述事件积分模型为：
Figure BDA0004182422690000071
其中，ex,y(t)表示随时间变化的连续函数，δ(t)是一个脉冲函数，事件序列被脉冲函数转换成连续的时间信号，
Figure BDA0004182422690000072
表示时间戳为t位置在(x,y)的事件极性，基于上述公式，图像中每一个像素点位置都可以有一个ex,y(t)来表示。
进一步地，构建YOLO v5s卷积神经网络，如图2所示。将上述重构后的事件帧输入到YOLO v5s卷积神经网络中进行训练得到基于事件数据的运动目标检测模型，并计算得到目标在事件帧上的位置。
进一步地，将标准图像帧从RGB(红色(R)、绿色(G)和蓝色(B))色彩空间转化为HSV(色调(H)、饱和度(S)和明度(V))色彩空间。在HSV色彩空间中，更容易识别出某个特定颜色的目标物体，通过标准图像帧从RGB色彩空间转化为HSV色彩空间，使得图像处理过程的更好实现。对转化后的HSV帧进行二值化处理，将HSV帧中的目标对象的颜色位置变为白色像素，其他位置变为黑色像素，最终得到标准图像帧的二值化帧。
进一步地，将经过卷积神经网络检测得到的目标位置转换到二值化帧中，并统计二值化帧中，并统计二值化帧中目标位置区域的白色像素数。
进一步地，根据下述公式计算目标位置区域中的白色像素数对于整个二值化帧中白色像素数的占比，判断目标位置区域中的白色像素数对于整个二值化帧中白色像素数的占比是否超过设定的阈值，如果是，则所述目标被正确检测出，否则检测出错误的目标：
Figure BDA0004182422690000081
其中，T表示目标位置区域中的白色像素数对于整个二值化帧中白色像素数的占比，Nw表示目标位置区域中的白色像素数量，Na表示二值化帧中的所有白色像素的数量。
如图3所示，本发明提供一种基于事件数据与图像数据颜色联合的运动目标检测系统，该系统包括：
图像数据获取模块100，用于获取稀疏事件数据和标准图像帧；
预测模块200，用于对所述稀疏事件数据进行重构处理得到事件帧，将所述事件帧输入到提前构建好的卷积神经网络中进行训练得到基于事件数据的运动目标检测模型，并计算得到目标在事件帧上的位置；
标准图像帧处理模块300，用于将所述标准图像帧从RGB色彩空间转化HSV色彩空间，并对特定颜色的目标进行二值化处理，得到标准图像帧的二值化帧；
颜色联合模块400，用于将经过卷积神经网络检测得到的目标位置转换到二值化帧中，并统计二值化帧中目标对象位置区域的白色像素数；
判断模块500，用于判断目标位置区域中的白色像素数对于整个二值化帧中白色像素数的占比是否超过设定的阈值，如果是，则所述目标被正确检测出，否则检测出错误的目标。
所述系统，用以实现上述所述的基于事件数据与图像数据颜色联合的运动目标检测方法，为了避免冗余，在此不再赘述。
本发明实施例还提供一种基于事件数据与图像数据概率联合的运动目标检测方法，该方法包括：
获取稀疏事件数据和标椎图像帧；
对所述稀疏事件数据进行重构处理得到事件帧；
将所述事件帧与所述标准图像帧分别输入到提前构建好的卷积神经网络进行训练得到基于概率的联合检测模型，并分别计算输入所述事件帧与所述标准图像帧时的预测的运动目标区域与对应的预测概率；
通过比较两个检测结果的预测概率，获得联合检测模型的预测结果。
本发明针对于事件数据的稀疏特征，采用事件积分模型对稀疏事件进行处理，将一个时间段内事件数据都投影在一个表面上实现事件帧的重构。将重构后的事件帧与标准图像帧分别传入卷积神经网络进行训练得到基于概率的联合检测模型，并计算两种模式下预测的运动目标区域与对应的预测概率，对比两种预测概率并选择较高的一个作为预测结果，解决了传统相机得到的标准图像不利于处理高速运动的场景与事件相机得到的事件数据不利于处理缓慢运动的场景的问题。
进一步地，通过利用事件相机获得稀疏事件数据，利用传统相机获得标准图像帧。采用事件积分模型对稀疏事件数据进行处理，将一个时间段内事件数据都投影在一个表面上实现事件帧的重构，其中所述事件积分模型为：
Figure BDA0004182422690000091
其中，ex,y(t)表示随时间变化的连续函数，δ(t)是一个脉冲函数，事件序列被脉冲函数转换成连续的时间信号，
Figure BDA0004182422690000092
表示时间戳为t位置在(x,y)的事件极性，基于上述公式，图像中每一个像素点位置都可以有一个ex,y(t)来表示。
进一步地，构建YOLO v5s卷积神经网络，如图2所示。将上述重构后的事件帧输入到YOLO v5s卷积神经网络中进行训练得到基于事件数据的运动目标检测模型，并计算得到目标在事件帧上的位置。
进一步地，将所述事件帧与所述标准图像帧分别输入到YOLO v5s卷积神经网络中进行训练得到基于概率的联合检测模型，并分别计算输入所述事件帧与所述标准图像帧时的预测的运动目标区域与对应的预测概率。
进一步地，比较两个检测结果的预测概率，当检测后的事件帧的预测概率大于检测后的标准图像帧的预测概率时，事件帧的检测结果作为基于概率的联合检测模型的预测结果；当检测后的标准图像帧的预测概率大于检测后的事件帧的预测概率时，标准图像帧的检测结果作为基于概率的联合检测模型的预测结果。
本发明实施例还提供一种基于事件数据与图像数据概率联合的运动目标检测系统，该系统包括：
图像数据获取模块，用于获取稀疏事件数据和标椎图像帧；
稀疏事件数据重构模块，用于对所述稀疏事件数据进行重构处理得到事件帧；
网络训练模块，用于将所述事件帧与所述标准图像帧分别输入到提前构建好的卷积神经网络进行训练得到基于概率的联合检测模型，并分别计算输入所述事件帧与所述标准图像帧时的预测的运动目标区域与对应的预测概率；
预测结果比较模块，用于通过比较两个检测结果的预测概率，获得联合检测模型的预测结果。
上述系统，用以实现上述所述的基于事件数据与图像数据概率联合的运动目标检测方法，为了避免冗余，在此不再赘述。
为了证明本发明方法及系统的有效性，下面通过具体的实验来验证。
一、数据集
数据集包括像素级合成事件数据集、VOT2013-car-events合成数据集和DistSurf车辆检测数据集。
二、实验分析
1.基于颜色的联合检测
基于颜色的联合检测可以很好地选择图像中特定的某个目标。在针对于标准图像做HSV转化时，需要注意H、S、V三值的选择。图4展示了从标准图象到HSV图形，再到二值化图形的转化。图4中有黑色和白色两辆车的运动目标，在只想检测白色车辆时，就需要将标准图像的颜色信息与基于事件帧的卷积神经网络运动目标检测算法结合起来。
如果多个目标颜色相同或相近时，基于颜色的联合检测会将符合特定颜色的目标都检测出，如图5。图5(a)中A和B两颗星颜色相同，基于颜色联合检测算法对蓝色目标进行检测时，得到的检测结果可见图5(d)图，A和B目标都被检测出；而在对红色目标检测时，C目标可被检测出。
2.基于概率的联合检测
在做基于概率的联合检测实验时分了三种情况进行讨论，分别是运动目标移动速度很缓慢时、很快时和速度适中的情况。
当运动目标移动速度很缓慢时，检测结果如图6所示：
图6中(b)为重构出的事件帧，在运动目标移动速度很缓慢时，事件相机产生的事件数据量很少，会很难检测出正确的目标位置，而此时传统相机输出的图像帧(a)在此处有着比较好的检测效果(c)。
当运动目标移动速度很快时，检测结果如图7所示：
图7中(a)为传统相机输出的图像帧，(c)为使用图像帧做检测时车辆运动造成了模糊，此时车辆轮廓不清晰导致很难检测出正确的目标位置，而此时重构的事件帧(b)在此处有着比较好的检测效果。
当运动目标移动速度适中时，检测结果如图8所示：
图8中白色车辆目标移动速度适中，在重构事件帧与标准图像帧中都很清晰，此时两类图像都能够有比较好的检测效果。
当目标移动速度缓慢时，事件输出量很少，即事件帧中包含的信息量也很少，如果使用重构的事件帧来检测可能会不能正确识别运动的目标。而当运动目标移动速度很快时，图像帧中会产生运动模糊，直接使用普通相机获取的标准图像也会不能正确检测出目标的位置。针对于运动目标基于概率的联合检测，即可将事件数据与图像互相弥补缺点，从而得到更好的检测效果。当二者都能检测出目标位置信息时，则将两种检测概率放在一起对比，选择较高概率的检测结果作为联合检测的结果。
表1中显示多个数据集的检测情况，分别列出了只基于事件帧做检测、只基于标准图像帧做检测和基于事件帧与标准图像帧的联合检测三种情况下检测出运动目标。
表1
Figure BDA0004182422690000121
像素级的图像比较简单，两种检测方法和联合检测都可以取得不错的检测效果；VOT2013-car的图像一共373帧，只基于事件帧可以检测到261帧，只基于标准图像帧可以检测到287帧，联合检测可以检测到326帧，比事件帧检测提高24.9％，比标准图像帧检测提高13.6％；DistSurf的图像一共656帧，只基于事件帧可以检测到489帧，只基于标准图像帧可以检测到553帧，联合检测可以检测到607帧，比事件帧检测提高24.1％，比标准图像帧检测提高9.8％。图9中展示了多个数据集基于联合检测的检测结果可视化。
三、实验总结
基于颜色的联合检测可以针对于特定颜色的目标做出检测，并将感兴趣颜色的目标检测出来，实现了对特定目标的检测；基于概率的联合检测，解决了传统相机得到的标准图像不利于处理高速运动的场景与事件相机得到的事件数据不利于处理缓慢运动的场景的问题。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (9)

1.一种基于事件数据与图像数据颜色联合的运动目标检测方法，其特征在于，包括：
S1：获取稀疏事件数据和标准图像帧；
S2：对所述稀疏事件数据进行重构处理得到事件帧，将所述事件帧输入到提前构建好的卷积神经网络中进行训练得到基于事件数据的运动目标检测模型，并计算得到目标在事件帧上的位置；
S3：将所述标准图像帧从RGB色彩空间转化HSV色彩空间，并对特定颜色的目标进行二值化处理，得到标准图像帧的二值化帧；
S4：将经过卷积神经网络检测得到的目标位置转换到二值化帧中，并统计二值化帧中目标位置区域的白色像素数；
S5：判断目标位置区域中的白色像素数对于整个二值化帧中白色像素数的占比是否超过设定的阈值，如果是，则所述目标被正确检测出，否则检测出错误的目标。
2.根据权利要求1所述的基于事件数据与图像数据颜色联合的运动目标检测方法，其特征在于，所述稀疏事件数据利用事件相机获得，所述标准图像帧利用传统相机获得。
3.根据权利要求1所述的基于事件数据与图像数据颜色联合的运动目标检测方法，其特征在于，对所述稀疏事件数据进行重构处理得到事件帧的方法为：
采用事件积分模型对稀疏事件数据进行处理，将一个时间段内事件数据都投影在一个表面上实现事件帧的重构，其中所述事件积分模型为：
Figure FDA0004182422680000021
其中，ex,y(t)表示随时间变化的连续函数，δ(t)是一个脉冲函数，事件序列被脉冲函数转换成连续的时间信号，
Figure FDA0004182422680000022
表示时间戳为t位置在(x,y)的事件极性，基于上述公式，图像中每一个像素点位置都可以有一个ex,y(t)来表示。
4.根据权利要求1所述的基于事件数据与图像数据颜色联合的运动目标检测方法，其特征在于，所述提前构建好的卷积神经网络为YOLO卷积神经网络。
5.根据权利要求1所述的基于事件数据与图像数据颜色联合的运动目标检测方法，其特征在于，将所述标准图像帧从RGB色彩空间转化HSV色彩空间，并对特定颜色的目标进行二值化处理，得到标准图像帧的二值化帧的方法为：
将标准图像帧从RGB色彩空间转化为HSV色彩空间，并对转化后的HSV帧进行二值化处理，将HSV帧中的目标对象的颜色位置变为白色像素，其他位置变为黑色像素，最终得到标准图像帧的二值化帧。
6.根据权利要求1所述的基于事件数据与图像数据颜色联合的运动目标检测方法，其特征在于，目标位置区域中的白色像素数对于整个二值化帧中白色像素数的占比的计算方法为：
Figure FDA0004182422680000023
其中，T表示目标位置区域中的白色像素数对于整个二值化帧中白色像素数的占比，Nw表示目标位置区域中的白色像素数量，Na表示二值化帧中的所有白色像素的数量。
7.一种基于事件数据与图像数据颜色联合的运动目标检测系统，其特征在于，包括：
图像数据获取模块，用于获取稀疏事件数据和标准图像帧；
预测模块，用于对所述稀疏事件数据进行重构处理得到事件帧，将所述事件帧输入到提前构建好的卷积神经网络中进行训练得到基于事件数据的运动目标检测模型，并计算得到目标在事件帧上的位置；
标准图像帧处理模块，用于将所述标准图像帧从RGB色彩空间转化HSV色彩空间，并对特定颜色的目标进行二值化处理，得到标准图像帧的二值化帧；
颜色联合模块，用于将经过卷积神经网络检测得到的目标位置转换到二值化帧中，并统计二值化帧中目标对象位置区域的白色像素数；
判断模块，用于判断目标位置区域中的白色像素数对于整个二值化帧中白色像素数的占比是否超过设定的阈值，如果是，则所述目标被正确检测出，否则检测出错误的目标。
8.一种检测装置，其特征在于，包括处理器、存储器和总线系统，所述处理器和存储器通过该总线系统相连，所述存储器用于存储指令，所述处理器用于执行存储器存储的指令，以实现权利要求1至6任意一项所述的基于事件数据与图像数据颜色联合的运动目标检测方法。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机软件产品，所述计算机软件产品包括的若干指令，用以使得一台计算机设备执行权利要求1至6任意一项所述的基于事件数据与图像数据颜色联合的运动目标检测方法。
CN202310408477.2A 2023-04-17 2023-04-17 基于事件数据与图像数据联合的运动目标检测方法及系统 Active CN116416602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310408477.2A CN116416602B (zh) 2023-04-17 2023-04-17 基于事件数据与图像数据联合的运动目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310408477.2A CN116416602B (zh) 2023-04-17 2023-04-17 基于事件数据与图像数据联合的运动目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN116416602A true CN116416602A (zh) 2023-07-11
CN116416602B CN116416602B (zh) 2024-05-24

Family

ID=87054441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310408477.2A Active CN116416602B (zh) 2023-04-17 2023-04-17 基于事件数据与图像数据联合的运动目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN116416602B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667442A (zh) * 2020-05-21 2020-09-15 武汉大学 一种基于事件相机的高质量高帧率图像重建方法
US20200394418A1 (en) * 2019-06-14 2020-12-17 Samsung Electronics Co., Ltd. Image processing method, an image processing apparatus, and a surveillance system
CN112669344A (zh) * 2020-12-24 2021-04-16 北京灵汐科技有限公司 一种运动物体的定位方法、装置、电子设备及存储介质
CN112801027A (zh) * 2021-02-09 2021-05-14 北京工业大学 基于事件相机的车辆目标检测方法
US20210168372A1 (en) * 2018-08-14 2021-06-03 Huawei Technologies Co., Ltd. Event-Based Adaptation of Coding Parameters for Video Image Encoding
CN114387277A (zh) * 2021-12-17 2022-04-22 中国电子科技南湖研究院 基于事件序列训练神经网络实现目标分割的方法及装置
CN114494050A (zh) * 2022-01-14 2022-05-13 武汉大学 一种基于事件相机的自监督视频去模糊和图像插帧方法
CN115760912A (zh) * 2022-11-03 2023-03-07 北京灵汐科技有限公司 运动目标跟踪方法、装置、设备及计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210168372A1 (en) * 2018-08-14 2021-06-03 Huawei Technologies Co., Ltd. Event-Based Adaptation of Coding Parameters for Video Image Encoding
US20200394418A1 (en) * 2019-06-14 2020-12-17 Samsung Electronics Co., Ltd. Image processing method, an image processing apparatus, and a surveillance system
CN111667442A (zh) * 2020-05-21 2020-09-15 武汉大学 一种基于事件相机的高质量高帧率图像重建方法
CN112669344A (zh) * 2020-12-24 2021-04-16 北京灵汐科技有限公司 一种运动物体的定位方法、装置、电子设备及存储介质
WO2022135511A1 (zh) * 2020-12-24 2022-06-30 北京灵汐科技有限公司 运动物体的定位方法、装置、电子设备及存储介质
CN112801027A (zh) * 2021-02-09 2021-05-14 北京工业大学 基于事件相机的车辆目标检测方法
CN114387277A (zh) * 2021-12-17 2022-04-22 中国电子科技南湖研究院 基于事件序列训练神经网络实现目标分割的方法及装置
CN114494050A (zh) * 2022-01-14 2022-05-13 武汉大学 一种基于事件相机的自监督视频去模糊和图像插帧方法
CN115760912A (zh) * 2022-11-03 2023-03-07 北京灵汐科技有限公司 运动目标跟踪方法、装置、设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
付长斐;叶宾;李会军;: "基于HSV颜色空间的运动目标识别", 控制与信息技术, no. 02, 31 December 2020 (2020-12-31) *
汪贵平;马力旺;郭璐;王会峰;张弢;: "高速公路抛洒物事件图像检测算法", 长安大学学报(自然科学版), no. 05, 15 September 2017 (2017-09-15) *

Also Published As

Publication number Publication date
CN116416602B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
Alonso et al. EV-SegNet: Semantic segmentation for event-based cameras
US11700457B2 (en) Flicker mitigation via image signal processing
CN103400150B (zh) 一种基于移动平台进行道路边缘识别的方法及装置
EP2959454B1 (en) Method, system and software module for foreground extraction
CN108280426B (zh) 基于迁移学习的暗光源表情识别方法及装置
CN104392468A (zh) 基于改进视觉背景提取的运动目标检测方法
CN1875378A (zh) 图像中的对象检测
CN105163110A (zh) 摄像头清洁度的检测方法、检测系统及拍摄终端
CN103093203A (zh) 一种人体再识别方法以及人体再识别系统
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN111008608B (zh) 一种基于深度学习的夜间车辆检测方法
CN116704476B (zh) 一种基于改进Yolov4-tiny算法的交通标志检测方法
CN108734684A (zh) 动态照明场景的图像背景减除
CN110009621A (zh) 一种篡改视频检测方法、装置、设备及可读存储介质
CN102457724A (zh) 一种图像运动检测系统及方法
WO2018179360A1 (ja) 画像処理装置、画像処理方法、および記録媒体
CN113365103B (zh) 坏帧自动检测方法、装置、设备、存储介质、程序产品
CN111160340B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
US8929629B1 (en) Method and system for image-based ulcer detection
CN116416602B (zh) 基于事件数据与图像数据联合的运动目标检测方法及系统
CN116403200A (zh) 基于硬件加速的车牌实时识别系统
JP7090251B2 (ja) 一連の画像フレーム内においてｌｅｄ光源を検出する方法、少なくとも１つのｌｅｄ光源を備える交通信号灯を検出する方法、及び車両
CN115984133A (zh) 图像增强方法、车辆抓拍方法、设备及介质
CN115131340A (zh) 一种电厂煤粉泄露识别方法、装置、设备及刻度存储介质
Cho et al. Increased performace of FPGA-based color classification system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant