CN112308087B - 基于动态视觉传感器的一体化成像识别方法 - Google Patents

基于动态视觉传感器的一体化成像识别方法 Download PDF

Info

Publication number
CN112308087B
CN112308087B CN202011207554.0A CN202011207554A CN112308087B CN 112308087 B CN112308087 B CN 112308087B CN 202011207554 A CN202011207554 A CN 202011207554A CN 112308087 B CN112308087 B CN 112308087B
Authority
CN
China
Prior art keywords
address
data stream
event data
event
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011207554.0A
Other languages
English (en)
Other versions
CN112308087A (zh
Inventor
吴金建
李汉标
杜从洋
石光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202011207554.0A priority Critical patent/CN112308087B/zh
Publication of CN112308087A publication Critical patent/CN112308087A/zh
Application granted granted Critical
Publication of CN112308087B publication Critical patent/CN112308087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于动态视觉传感器的一体化成像识别系统和方法,旨在解决现有技术中存在的系统功耗较高和目标识别准确率较低的技术问题,成像识别方法包括以下步骤:镜头采集多幅图像;动态视觉传感器感知图像灰度的变化;数据采集模块中的处理器解析动态视觉传感器输出的信号,得到地址‑事件数据流;目标识别模块中的去噪子模块对地址‑事件数据流进行去噪;目标识别模块中的分段子模块对地址‑事件数据流进行分段;目标识别模块中的识别子模块对地址‑事件数据流进行识别;数据可视化模块获取成像识别结果。

Description

基于动态视觉传感器的一体化成像识别方法
技术领域
本发明属于计算机视觉领域,涉及一种基于动态视觉传感器的一体化成像识别系统和方法,可用于星载对地面目标的成像识别。
背景技术
基于传统图像传感器的成像识别系统和方法目前应用广泛,在安全警戒、海上检测和道路交通状况分析等方面发挥了巨大作用,但是这些基于传统图像传感器的成像识别系统有很多缺陷,简单来说,传统的图像传感器是一种对能量进行积分的传感器,积分过程往往要持续几十毫秒,这延长了相机的响应时间,使得传统图像传感器难以捕获快速运动的目标。在积分过程中,如果目标相对传统图像传感器发生了运动,就会导致传统图像传感器输出模糊的图像。传统图像传感器的另一个缺陷是所有的像素等效成像,所有的像素都会同时输出数据,会产生大量无效数据,造成了数据冗余,给后端的计算、存储等模块带来巨大的计算压力,增加了系统的功耗。
动态视觉传感器是一种视觉传感器,动态视觉传感器上每个像素单独感光,当一个像素上的光强发生变化时,这个像素才会输出一个表示光强变化的事件。动态视觉传感器在光强变化时输出数据,当光强没有变化时,动态视觉传感器便没有数据输出,所以动态视觉传感器具有低功耗、低信息冗余的优点。动态视觉传感器也起到了过滤背景的作用,减小了数据处理所需的计算量,因此也降低了整体系统的功耗。动态视觉传感器在工作过程中也没有对能量进行积分的过程,所以动态视觉传感器的响应时间很短,可以捕获快速运动的目标。
Arun M.George等人在其发表的论文“A Reservoir-based ConvolutionalSpiking Neural Network for Gesture Recognition from DVS Input”(2020International Joint Conference on Neural Networks)中提出了一种利用脉冲神经网络对动态视觉传感器的输出数据进行目标识别的方法,这种方法利用了脉冲神经网络对动态视觉传感器的输出数据进行压缩,达到了较高的目标识别准确率,该方法存在的不足之处在于:该方法引入了事件预处理层对动态视觉传感器的输出数据进行重新编码,运算速度慢,所用的脉冲神经网络在非神经形态硬件上计算量比较大,目标识别速度慢,无法实现实时目标识别,并且脉冲神经网络目前并没有有效的监督训练方法,在目标识别的应用上,脉冲神经网络的性能并不优于传统的卷积神经网络。
Marco Cannici等人在其发表的论文“A Differentiable Recurrent Surfacefor Asynchronous Event-Based Data”(2020arXiv.org)中提出了一种利用长短期记忆网络对动态视觉传感器的输出事件流进行特征提取,并用卷积神经网络对特征提取结果进行目标识别的方法,该方法存在的不足之处在于:在对动态视觉传感器输出的事件流进行特征提取的过程中,需要对事件流进行逐事件的特征提取,并且需要引入冗余信息,从而增加了卷积神经网络进行目标识别时的计算量。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷,提出了一种基于动态视觉传感器的一体化成像识别系统和方法,旨在保证具有较高目标识别准确率的同时,提高成像识别效率,进而降低系统功耗。
为实现上述目的,本发明采用的技术方案为:
一种基于动态视觉传感器的一体化成像识别系统,包括数据采集模块、目标识别模块和数据可视化模块,其中:
所述数据采集模块,包括依次级联的镜头、动态视觉传感器和处理器;所述镜头,用于采集多幅聚焦后的彩色图像;所述动态视觉传感器,用于对每幅聚焦后彩色图像的灰度信息变化进行感知,并输出感知结果;所述处理器,用于对动态视觉传感器输出的感知结果进行解析,并输出解析结果;
所述目标识别模块,包括去噪子模块、划分子模块和识别子模块;所述去噪子模块,用于对数据采集模块输出的解析结果进行去噪,并输出去噪结果;划分子模块,用于对去噪子模块输出的去噪结果进行分段,并输出分段结果;所述识别子模块采用预训练的卷积神经网络,对划分子模块所输出的分段结果进行目标识别,并输出目标识别结果;
所述数据可视化模块,用于对目标识别模块输出的分段结果和目标识别结果进行可视化,得到成像识别结果并输出。
一种基于动态视觉传感器的一体化成像识别系统的成像识别方法,包括如下步骤:
(1)数据采集模块中的镜头采集彩色图像:
数据采集模块中的镜头采集R幅聚焦后的彩色图像P={Pr|0<r≤R},Pr表示第r幅彩色图像,R>1;
(2)数据采集模块中的动态视觉传感器获取每幅聚焦后图像Pr的灰度信息变化的信号:
数据采集模块中的动态视觉传感器感知每幅聚焦后图像Pr的灰度信息变化,得到表示图像灰度信息变化的信号C={Cr|0<r≤R},其中Cr表示Pr对应的包括Nr个事件的灰度信息变化的信号,Cr={cr,l=(xr,l,yr,l,gr,l,tr,l)|0<l≤Nr}, Nr>0,cr,l表示第l个事件,xr,l和yr,l分别表示cr,l的触发位置像素的横坐标和纵坐标,gr,l表示cr,l的灰度值,gr,l≥0,tr,l表示cr,l的触发的时间;
(3)数据采集模块中的处理器对表示图像灰度信息变化的信号C进行解析:
(3a)构建全零矩阵M=zeros(H,W),其中H和W分别表示动态视觉传感器感光部分纵向像素和横向像素的个数,H≥32,W≥32,并令M中的每一个元素m=0;
(3b)设cr,l的解析结果为er,l=(xr,l,yr,l,pr,l,tr,l),其中pr,l表示er,l的极性,并令r=1;
(3c)令l=1;
(3d)判断
Figure BDA0002757545660000031
是否成立,若是,令pr,l=+1,否则,令pr,l=-1,其中
Figure BDA0002757545660000032
表示M中与cr,l位置对应的元素;
(3e)令
Figure BDA0002757545660000033
并判断l<Nr是否成立,若是,令l=l+1,并执行步骤(3d),否则,得到Cr解析后的地址-事件数据流 Ar={er,l=(xr,l,yr,l,pr,l,tr,l)|0<l≤Nr};
(3f)判断r<R是否成立,若是,令r=r+1,执行步骤(3c),否则,得到C解析后的地址-事件数据流集合A={Ar|0<r≤R};
(4)目标识别模块对地址-事件数据流集合A进行去噪:
目标识别模块中的去噪子模块对每个地址-事件数据流Ar进行去噪,得到去噪后的地址-事件数据流集合A'={Ar'|0<r≤R}并输出,其中Ar'表示Ar对应的去噪后的地址-事件数据流,Ar'={er,j=(xr,j,yr,j,pr,j,tr,j)|0<j≤Nr'}, 0<Nr'≤Nr
(5)目标识别模块对每个去噪后的地址-事件数据流Ar'进行分段:
目标识别模块中的划分子模块采用时间阈值和局部事件数阈值法,对每个去噪后的地址-事件数据流Ar'进行分段,若Ar'中的剩余事件不足以分段,则将Ar' 中的剩余事件丢弃,得到地址-事件数据流段集合D={Br|0<r≤R},其中Br表示Ar'分段后的地址-事件数据流段子集合Br={Er,k|0≤k≤Mr},Er,k表示第k个地址-事件数据流段,Er,k={er,k,h=(xr,k,h,yr,k,h,pr,k,h,tr,k,h)|0<h≤Lr,k},Lr,k表示 Er,k中包含的事件数的总数,1≤Lr,k≤Nr',er,k,h=(xr,k,h,yr,k,h,pr,k,h,tr,k,h)表示Er,k中第h个事件,Mr表示地址-事件数据流段的总数,Mr>0;
(6)目标识别模块对每个地址-事件数据流段Er,k进行目标识别:
(6a)构建全零矩阵M1=zeros(H,W)和M2=zeros(H,W),并令M1和M2中的每一个元素m1=0,m2=0,令r=1;
(6b)令k=1;
(6c)令h=1;
(6d)目标识别模块中的识别子模块判断Er,k中的每个事件er,k,h的极性 pr,k,h=+1是否成立,若是,令
Figure BDA0002757545660000041
否则,令
Figure BDA0002757545660000042
其中,
Figure BDA0002757545660000043
表示矩阵M1中下标为(xr,k,h,yr,k,h)的元素,
Figure BDA0002757545660000044
表示矩阵M2中下标为(xr,k,h,yr,k,h)的元素;
(6e)目标识别模块中的识别子模块判断h<Lr,k是否成立,若是,令h=h+1,并执行步骤(6d),否则,构建以M1和M2为分别通道的三维全零矩阵 I=zeros(2,H,W),并执行步骤(6f);
(6f)将I作为预训练的卷积神经网络的输入进行目标识别,得到对地址- 事件数据流段Er,k的目标识别结果Labelr,k并输出,并执行步骤(6g),其中 Labelr,k表示Er,k的类别标签;
(6g)目标识别模块中的识别子模块判断k<Mr是否成立,若是,令k=k+1, 并执行步骤(6c),否则,得到对Br识别结果集合Labelr={Labelr,k|0<k≤Mr},并执行步骤(6h);
(6h)目标识别模块中的识别子模块判断r<R是否成立,若是,令r=r+1,并执行步骤(6b),否则,得到对D的识别结果集合Label={Labelr|0<r≤R}。
(7)数据可视化模块获取成像识别结果:
数据可视化模块采用全局事件数阈值法对每个地址-事件数据流段Er,k进行可视化,得到图像帧集合Q={Qr|0<r≤R},Qr表示Br所对应的图像帧, Qr={Qr,k|0<k≤Mr},Qr,k表示Er,k对应的图像帧。
本发明与现有技术相比,具有如下优点:
1、由于本发明通过对地址-事件数据流的分段,在时间轴上对地址-事件数据流进行了压缩,再对压缩后的地址-事件数据流进行特征提取,从而避免了对每个事件进行特征提取,与现有技术相比,在保证目标识别准确率较高的前提下,减小了对地址-事件数据流进行特征提取的计算量,进而有效降低了系统的功耗。
2、本发明使用卷积神经网络进行目标识别,卷积神经网络在CPU或GPU上的计算效率更高,与现有的采用脉冲神经网络的技术相比,降低了系统的功耗。
附图说明
图1是本发明成像识别系统的整体结构示意图。
图2是本发明成像识别方法的实现流程图。
具体实施方式
下面结合附图和具体实施例,对本发明作进一步详细描述:
参照图1,一种基于动态视觉传感器的一体化成像识别系统,包括数据采集模块、目标识别模块和数据可视化模块,其中:
所述数据采集模块,包括依次级联的镜头、动态视觉传感器和处理器;所述镜头,用于采集多幅聚焦后的彩色图像;所述动态视觉传感器,用于对每幅聚焦后彩色图像的灰度信息变化进行感知,并输出感知结果;所述处理器,用于对动态视觉传感器输出的感知结果进行解析,并输出解析结果;
所述目标识别模块,包括去噪子模块、划分子模块和识别子模块;所述去噪子模块,用于对数据采集模块输出的解析结果进行去噪,并输出去噪结果;划分子模块,用于对去噪子模块输出的去噪结果进行分段,并输出分段结果;所述识别子模块采用预训练的卷积神经网络,对划分子模块所输出的分段结果进行目标识别,并输出目标识别结果;
所述数据可视化模块,用于对目标识别模块输出的分段结果和目标识别结果进行可视化,得到成像识别结果并输出。
参照图2,一种基于动态视觉传感器的一体化成像识别系统的成像识别方法,包括如下步骤:
步骤1)数据采集模块中的镜头采集彩色图像:
数据采集模块中的镜头采集R幅聚焦后的彩色图像P={Pr|0<r≤R},Pr表示第r幅彩色图像,R>1。本实施例中,所用镜头为可见光定焦镜头。
步骤2)数据采集模块中的动态视觉传感器获取每幅聚焦后图像Pr的灰度信息变化的信号:
数据采集模块中的动态视觉传感器感知每幅聚焦后图像Pr的灰度信息变化,得到表示图像灰度信息变化的信号C={Cr|0<r≤R},其中Cr表示Pr对应的包括Nr个事件的灰度信息变化的信号,Cr={cr,l=(xr,l,yr,l,gr,l,tr,l)|0<l≤Nr}, Nr>0,cr,l表示第l个事件,xr,l和yr,l分别表示cr,l的触发位置像素的横坐标和纵坐标,gr,l表示cr,l的灰度值,0≤gr,l,tr,l表示cr,l的触发的时间。本实施例中,数据采集模块中所用的动态视觉传感器感光部分纵向有H=800个像素,横向有 W=1280个像素,所以0≤xr,l<1280,0≤yr,l<800,动态视觉传感器共有4096 个灰度级,所以0≤gr,l<4096。
步骤3)动态视觉传感器输出的表示图像灰度信息变化的信号C只包含事件的地址信息、灰度值和事件触发的时间信息,而地址-事件数据流中的事件包含事件的地址信息、事件的极性信息和事件的触发时间,所以数据采集模块中的处理器需要将表示图像灰度信息变化的信号C解析为地址-事件数据流,地址-事件数据流中每个事件的极性信息p表示事件灰度变化的方向,p=±1,p=-1表示该事件触发位置的像素感受到的光强减弱,p=+1表示该事件触发位置的像素感受到的光强增强,解析过程为:
步骤3a)构建全零矩阵M=zeros(H,W),并令M中的每一个元素m=0;
步骤3b)设cr,l的解析结果为er,l=(xr,l,yr,l,pr,l,tr,l),其中pr,l表示er,l的极性,并令r=1;
步骤3c)令l=1;
步骤3d)判断
Figure BDA0002757545660000071
是否成立,若是,令pr,l=+1,否则,令pr,l=-1,其中
Figure BDA0002757545660000072
表示M中与cr,l位置对应的元素;
步骤3e)令
Figure BDA0002757545660000073
并判断l<Nr是否成立,若是,令l=l+1,并执行步骤3d),否则,得到Cr解析后的地址-事件数据流 Ar={er,l=(xr,l,yr,l,pr,l,tr,l)|0<l≤Nr};
步骤3f)判断r<R是否成立,若是,令r=r+1,执行步骤3c),否则,得到C解析后的地址-事件数据流集合A={Ar|0<r≤R}。
步骤4)因为地址-事件数据流中含有噪声,会影响目标识别准确率,所以需要目标识别模块对地址-事件数据流集合A进行去噪:
目标识别模块中的去噪子模块用基于空间密度聚类的去噪方法、基于时间阈值的去噪方法或基于概率无向图的去噪方法对每个地址-事件数据流Ar进行去噪,得到去噪后的地址-事件数据流集合A'={Ar'|0<r≤R}并输出,其中Ar'表示Ar对应的去噪后的地址-事件数据流, Ar'={er,j=(xr,j,yr,j,pr,j,tr,j)|0<j≤Nr'},0<Nr'≤Nr。本实施例中使用的去噪方法为基于时间阈值的去噪方法。
步骤5)地址-事件数据流A中包含一段时间内的所有事件,根据目标运动快慢的不同,这段时间内的事件数量也会随之变化,为保证进行目标识别时地址 -事件数据流中的事件数的稳定,所以需要目标识别模块对每个去噪后的地址-事件数据流Ar'进行分段:
目标识别模块中的划分子模块采用时间阈值和局部事件数阈值法,对每个去噪后的地址-事件数据流Ar'进行分段,若Ar'中的剩余事件不足以分段,则将Ar' 中的剩余事件丢弃,得到地址-事件数据流段集合D={Br|0<r≤R},其中Br表示Ar'分段后的地址-事件数据流段子集合Br={Er,k|0≤k≤Mr},Er,k表示第k个地址-事件数据流段,Er,k={er,k,h=(xr,k,h,yr,k,h,pr,k,h,tr,k,h)|0<h≤Lr,k},Lr,k表示 Er,k中包含的事件数的总数,1≤Lr,k≤Nr',er,k,h=(xr,k,h,yr,k,h,pr,k,h,tr,k,h)表示Er,k中第h个事件,Mr表示地址-事件数据流段的总数,Mr>0。本实施例中,在时间阈值和局部事件数阈值法中的参数时间阈值为Th=10ms,事件分区数为4,各分区事件数阈值为1000。
步骤6)目标识别模块对每个地址-事件数据流段Er,k进行目标识别:
步骤6a)构建全零矩阵M1=zeros(H,W)和M2=zeros(H,W),并令M1和M2中的每一个元素m1=0,m2=0,令r=1;
步骤6b)令k=1;
步骤6c)令h=1;
步骤6d)目标识别模块中的识别子模块判断Er,k中的每个事件er,k,h的极性 pr,k,h=+1是否成立,若是,令
Figure BDA0002757545660000081
否则,令
Figure BDA0002757545660000091
其中,
Figure BDA0002757545660000092
表示矩阵M1中下标为(xr,k,h,yr,k,h)的元素,
Figure BDA0002757545660000093
表示矩阵M2中下标为(xr,k,h,yr,k,h)的元素;
步骤6e)目标识别模块中的识别子模块判断h<Lr,k是否成立,若是,令 h=h+1,并执行步骤6d),否则,构建以M1和M2为分别通道的三维全零矩阵 I=zeros(2,H,W),执行步骤6f);
步骤6f)将I作为预训练的卷积神经网络的输入进行目标识别,得到对地址 -事件数据流段Er,k的目标识别结果Labelr,k并输出,执行步骤6g),其中Labelr,k表示Er,k的类别标签,预训练的卷积神经网络的预训练过程包括如下步骤:
步骤6f1)获取训练数据集T1
选取包含S类目标的地址-事件数据流段,构成集合J={Ko|0<o<S},Ko表示第o类目标的地址-事件数据流段集合,Ko={Zo,q|0<q≤G1},Zo,q表示第q 个地址-事件数据流段,G1>500,并根据步骤6c)和步骤6d)将每个地址-事件数据流段Zo,q解析为三维矩阵Io,q,对每个三维矩阵Io,q进行标记,将标记后的三维矩阵作为训练数据集T1。在本实施例中,S=9,G1=3000;
步骤6f2)构建包含多个卷积层、多个最大池化层、多个ReLu层和多个全连接层的卷积神经网络F;
步骤6f3)对卷积神经网络F进行迭代训练:
步骤6f3a)设迭代次数为u=1,最大迭代次数为U=15000;
步骤6f3b)从训练数据集T1中随机选取v个三维矩阵作为卷积神经网络F的输入进行训练,得到v个地址-事件数据流段的标签LDA={l1,l2,,…,lw,…,lv},用均方误差损失函数通过LDA和其对应的真实标签LT={l1',l2',…,lw',…,lv'}计算卷积神经网络的损失值Lossu,其中0<v≤64,0<w≤v,损失值的计算公式为:
Figure BDA0002757545660000101
步骤6f3c)用梯度下降法通过损失值Lossu对卷积神经网络F的参数进行更新,参数更新公式为:
Figure BDA0002757545660000102
Figure BDA0002757545660000103
其中,ωu表示更新前卷积层的参数,ωu+1表示更新后的卷积层的参数,θu表示更新前全连接层的参数,θu+1表示更新后的全连接层的参数;
步骤6f3d)判断u>U是否成立,若是,得到训练好的卷积神经网络F,否则,令u=u+1,执行步骤6f3b);
步骤6g)目标识别模块中的识别子模块判断k<Mr是否成立,若是,令 k=k+1,并执行步骤6c),否则,得到对Br识别结果集合 Labelr={Labelr,k|0<k≤Mr},并执行步骤6h);
步骤6h)目标识别模块中的识别子模块判断r<R是否成立,若是,令r=r+1,并执行步骤6b),否则,得到对D的识别结果集合Label={Labelr|0<r≤R}。
步骤7)数据可视化模块获取成像识别结果:
数据可视化模块采用全局事件数阈值法对每个地址-事件数据流段Er,k进行可视化,得到图像帧集合Q={Qr|0<r≤R},Qr表示Br所对应的图像帧, Qr={Qr,k|0<k≤Mr},Qr,k表示Er,k对应的图像帧。

Claims (3)

1.一种基于动态视觉传感器的一体化成像识别系统的成像识别方法,其特征在于,包括如下步骤:
(1)数据采集模块中的镜头采集彩色图像:
数据采集模块中的镜头采集R幅聚焦后的彩色图像P={Pr|0<r≤R},Pr表示第r幅彩色图像,R>1;
(2)数据采集模块中的动态视觉传感器获取每幅聚焦后图像Pr的灰度信息变化的信号:
数据采集模块中的动态视觉传感器感知每幅聚焦后图像Pr的灰度信息变化,得到表示图像灰度信息变化的信号C={Cr|0<r≤R},其中Cr表示Pr对应的包括Nr个事件的灰度信息变化的信号,Cr={cr,n=(xr,n,yr,n,gr,n,tr,n)|0<n≤Nr},Nr>0,cr,n表示第n个事件,xr,n和yr,n分别表示cr,n的触发位置像素的横坐标和纵坐标,gr,n表示cr,n的灰度值,gr,l≥0,tr,n表示cr,n的触发的时间;
(3)数据采集模块中的处理器对表示图像灰度信息变化的信号C进行解析:
(3a)构建全零矩阵M=zeros(H,W),其中H和W分别表示动态视觉传感器感光部分纵向像素和横向像素的个数,H≥32,W≥32,并令M中的每一个元素m=0;
(3b)设cr,n的解析结果为er,n=(xr,n,yr,n,pr,n,tr,n),其中pr,n表示er,n的极性,并令r=1;
(3c)令n=1;
(3d)判断
Figure FDA0003920906910000011
是否成立,若是,令pr,n=+1,否则,令pr,n=-1,其中
Figure FDA0003920906910000012
表示M中与cr,n位置对应的元素;
(3e)令
Figure FDA0003920906910000013
并判断n<Nr是否成立,若是,令n=n+1,并执行步骤(3d),否则,得到Cr解析后的地址-事件数据流Ar={er,n=(xr,n,yr,n,pr,n,tr,n)|0<n≤Nr};
(3f)判断r<R是否成立,若是,令r=r+1,执行步骤(3c),否则,得到C解析后的地址-事件数据流集合A={Ar|0<r≤R};
(4)目标识别模块对地址-事件数据流集合A进行去噪:
目标识别模块中的去噪子模块对每个地址-事件数据流Ar进行去噪,得到去噪后的地址-事件数据流集合A'={Ar'|0<r≤R}并输出,其中Ar'表示Ar对应的去噪后的地址-事件数据流,Ar'={er,j=(xr,j,yr,j,pr,j,tr,j)|0<j≤Nr'},0<Nr'≤Nr
(5)目标识别模块对每个去噪后的地址-事件数据流Ar'进行分段:
目标识别模块中的划分子模块采用时间阈值和局部事件数阈值法,对每个去噪后的地址-事件数据流Ar'进行分段,若Ar'中的剩余事件不足以分段,则将Ar'中的剩余事件丢弃,得到地址-事件数据流段集合D={Br|0<r≤R},其中Br表示Ar'分段后的地址-事件数据流段子集合Br={Er,k|0≤k≤Mr},Er,k表示第k个地址-事件数据流段,Er,k={er,k,h=(xr,k,h,yr,k,h,pr,k,h,tr,k,h)|0<h≤Lr,k},Lr,k表示Er,k中包含的事件数的总数,1≤Lr,k≤Nr',er,k,h=(xr,k,h,yr,k,h,pr,k,h,tr,k,h)表示Er,k中第h个事件,Mr表示地址-事件数据流段的总数,Mr>0;
(6)目标识别模块对每个地址-事件数据流段Er,k进行目标识别:
(6a)构建全零矩阵M1=zeros(H,W)和M2=zeros(H,W),并令M1和M2中的每一个元素m1=0,m2=0,令r=1;
(6b)令k=1;
(6c)令h=1;
(6d)目标识别模块中的识别子模块判断Er,k中的每个事件er,k,h的极性pr,k,h=+1是否成立,若是,令
Figure FDA0003920906910000021
否则,令
Figure FDA0003920906910000031
其中,
Figure FDA0003920906910000032
表示矩阵M1中下标为(xr,k,h,yr,k,h)的元素,
Figure FDA0003920906910000033
表示矩阵M2中下标为(xr,k,h,yr,k,h)的元素;
(6e)目标识别模块中的识别子模块判断h<Lr,k是否成立,若是,令h=h+1,并执行步骤(6d),否则,构建以M1和M2为分别通道的三维全零矩阵I=zeros(2,H,W),并执行步骤(6f);
(6f)将I作为预训练的卷积神经网络的输入进行目标识别,得到对地址-事件数据流段Er,k的目标识别结果Labelr,k并输出,并执行步骤(6g),其中Labelr,k表示Er,k的类别标签;
(6g)目标识别模块中的识别子模块判断k<Mr是否成立,若是,令k=k+1,并执行步骤(6c),否则,得到对Br识别结果集合Labelr={Labelr,k|0<k≤Mr},并执行步骤(6h);
(6h)目标识别模块中的识别子模块判断r<R是否成立,若是,令r=r+1,并执行步骤(6b),否则,得到对D的识别结果集合Label={Labelr|0<r≤R};
(7)数据可视化模块获取成像识别结果:
数据可视化模块采用全局事件数阈值法对每个地址-事件数据流段Er,k进行可视化,得到图像帧集合Q={Qr|0<r≤R},Qr表示Br所对应的图像帧,Qr={Qr,k|0<k≤Mr},Qr,k表示Er,k对应的图像帧。
2.根据权利要求1所述的基于动态视觉传感器的一体化成像识别系统的成像识别方法,其特征在于,步骤(4)中所述的对地址-事件数据流进行去噪,采用基于空间密度聚类的去噪方法、基于时间阈值的去噪方法或基于概率无向图的去噪方法。
3.根据权利要求1所述的基于动态视觉传感器的一体化成像识别系统的成像识别方法,其特征在于,步骤(6f)中所述的预训练的卷积神经网络,其中预训练包括如下步骤:
(6f1)获取训练数据集T1
选取包含S类目标的多个地址-事件数据流段,构成集合J={Ko|0<o<S},Ko表示第o类目标的地址-事件数据流段子集合,Ko={Zo,q|0<q≤G1},Zo,q表示第q个地址-事件数据流段,G1>500,并根据权利要求2中步骤(6c)和步骤(6d)将每个地址-事件数据流段Zo,q解析为三维矩阵Io,q,对每个三维矩阵Io,q进行标记,将标记后的三维矩阵作为训练数据集T1
(6f2)构建包含多个卷积层、多个最大池化层、多个ReLu层和多个全连接层的卷积神经网络F;
(6f3)对卷积神经网络F进行迭代训练:
(6f3a)设迭代次数为u=1,最大迭代次数为U;
(6f3b)从训练数据集T1中随机选取v个三维矩阵作为卷积神经网络F的输入进行训练,得到v个地址-事件数据流段的标签LE={LE1,LE2,,…,LEw,…,LEv},用均方误差损失函数通过LE和其对应的真实标签LT={LT1',LT2',…,LTw',…,LTv'}计算卷积神经网络的损失值Lossu
Figure FDA0003920906910000041
其中0<v≤64,0<w≤v;
(6f3c)用梯度下降法通过损失值Lossu对卷积神经网络F的参数进行更新,参数更新公式为:
Figure FDA0003920906910000042
Figure FDA0003920906910000043
其中,ωu表示更新前卷积层的参数,ωu+1表示更新后的卷积层的参数,θu表示更新前全连接层的参数,θu+1表示更新后的全连接层的参数;
(6f3d)判断u>U是否成立,若是,得到训练好的卷积神经网络F,否则,令u=u+1,执行步骤(6f3b)。
CN202011207554.0A 2020-11-03 2020-11-03 基于动态视觉传感器的一体化成像识别方法 Active CN112308087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011207554.0A CN112308087B (zh) 2020-11-03 2020-11-03 基于动态视觉传感器的一体化成像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011207554.0A CN112308087B (zh) 2020-11-03 2020-11-03 基于动态视觉传感器的一体化成像识别方法

Publications (2)

Publication Number Publication Date
CN112308087A CN112308087A (zh) 2021-02-02
CN112308087B true CN112308087B (zh) 2023-04-07

Family

ID=74334143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011207554.0A Active CN112308087B (zh) 2020-11-03 2020-11-03 基于动态视觉传感器的一体化成像识别方法

Country Status (1)

Country Link
CN (1) CN112308087B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113009897A (zh) * 2021-03-09 2021-06-22 北京灵汐科技有限公司 一种智能家电的控制方法、装置、智能家电及存储介质
CN113408671B (zh) * 2021-08-18 2021-11-16 成都时识科技有限公司 一种对象识别方法及装置、芯片及电子设备
CN114078100A (zh) * 2021-11-25 2022-02-22 成都时识科技有限公司 聚类降噪装置、方法、芯片、事件成像装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469039A (zh) * 2015-11-19 2016-04-06 天津大学 基于aer图像传感器的目标识别系统
CN109726356A (zh) * 2019-01-17 2019-05-07 西安电子科技大学 一种动态视觉传感器的地址事件流数据去噪方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150120124A (ko) * 2014-04-17 2015-10-27 삼성전자주식회사 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치
CN108731587A (zh) * 2017-04-14 2018-11-02 中交遥感载荷(北京)科技有限公司 一种基于视觉的无人机动态目标跟踪与定位方法
CN107403154B (zh) * 2017-07-20 2020-10-16 四川大学 一种基于动态视觉传感器的步态识别方法
CN109815876B (zh) * 2019-01-17 2021-01-05 西安电子科技大学 基于地址事件流特征的手势识别方法
CN109816725B (zh) * 2019-01-17 2023-03-14 合肥哈工慧拣智能科技有限公司 一种基于深度学习的单目相机物体位姿估计方法及装置
CN110555865B (zh) * 2019-08-07 2022-04-19 清华大学无锡应用技术研究院 一种基于帧图像的动态视觉传感器样本集建模方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469039A (zh) * 2015-11-19 2016-04-06 天津大学 基于aer图像传感器的目标识别系统
CN109726356A (zh) * 2019-01-17 2019-05-07 西安电子科技大学 一种动态视觉传感器的地址事件流数据去噪方法

Also Published As

Publication number Publication date
CN112308087A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN110378381B (zh) 物体检测方法、装置和计算机存储介质
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
CN112308087B (zh) 基于动态视觉传感器的一体化成像识别方法
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN113591968A (zh) 一种基于非对称注意力特征融合的红外弱小目标检测方法
CN109816695A (zh) 一种复杂背景下的红外小型无人机目标检测与跟踪方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN111027382B (zh) 一种基于注意力机制的轻量级人脸检测的方法及模型
CN112232371B (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN113139489B (zh) 基于背景提取和多尺度融合网络的人群计数方法及系统
CN110689021A (zh) 一种基于深度学习的低可见度环境下实时目标检测方法
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
CN111753682A (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN115063786A (zh) 一种高位远景模糊车牌检测方法
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN112396635A (zh) 一种基于多设备的复杂环境下多目标检测方法
Zhu et al. Towards automatic wild animal detection in low quality camera-trap images using two-channeled perceiving residual pyramid networks
Wang et al. Skip-connection convolutional neural network for still image crowd counting
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN116363535A (zh) 基于卷积神经网络的无人机航拍影像中的船舶检测方法
CN114663769B (zh) 一种基于YOLO v5的水果识别方法
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant