CN112308087B - 基于动态视觉传感器的一体化成像识别方法 - Google Patents
基于动态视觉传感器的一体化成像识别方法 Download PDFInfo
- Publication number
- CN112308087B CN112308087B CN202011207554.0A CN202011207554A CN112308087B CN 112308087 B CN112308087 B CN 112308087B CN 202011207554 A CN202011207554 A CN 202011207554A CN 112308087 B CN112308087 B CN 112308087B
- Authority
- CN
- China
- Prior art keywords
- address
- data stream
- event data
- event
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003384 imaging method Methods 0.000 title claims abstract description 31
- 230000008859 change Effects 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 13
- 238000013079 data visualisation Methods 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000012800 visualization Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000001960 triggered effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000995240 Mycobacterium virus George Species 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于动态视觉传感器的一体化成像识别系统和方法,旨在解决现有技术中存在的系统功耗较高和目标识别准确率较低的技术问题,成像识别方法包括以下步骤:镜头采集多幅图像;动态视觉传感器感知图像灰度的变化;数据采集模块中的处理器解析动态视觉传感器输出的信号,得到地址‑事件数据流;目标识别模块中的去噪子模块对地址‑事件数据流进行去噪;目标识别模块中的分段子模块对地址‑事件数据流进行分段;目标识别模块中的识别子模块对地址‑事件数据流进行识别;数据可视化模块获取成像识别结果。
Description
技术领域
本发明属于计算机视觉领域,涉及一种基于动态视觉传感器的一体化成像识别系统和方法,可用于星载对地面目标的成像识别。
背景技术
基于传统图像传感器的成像识别系统和方法目前应用广泛,在安全警戒、海上检测和道路交通状况分析等方面发挥了巨大作用,但是这些基于传统图像传感器的成像识别系统有很多缺陷,简单来说,传统的图像传感器是一种对能量进行积分的传感器,积分过程往往要持续几十毫秒,这延长了相机的响应时间,使得传统图像传感器难以捕获快速运动的目标。在积分过程中,如果目标相对传统图像传感器发生了运动,就会导致传统图像传感器输出模糊的图像。传统图像传感器的另一个缺陷是所有的像素等效成像,所有的像素都会同时输出数据,会产生大量无效数据,造成了数据冗余,给后端的计算、存储等模块带来巨大的计算压力,增加了系统的功耗。
动态视觉传感器是一种视觉传感器,动态视觉传感器上每个像素单独感光,当一个像素上的光强发生变化时,这个像素才会输出一个表示光强变化的事件。动态视觉传感器在光强变化时输出数据,当光强没有变化时,动态视觉传感器便没有数据输出,所以动态视觉传感器具有低功耗、低信息冗余的优点。动态视觉传感器也起到了过滤背景的作用,减小了数据处理所需的计算量,因此也降低了整体系统的功耗。动态视觉传感器在工作过程中也没有对能量进行积分的过程,所以动态视觉传感器的响应时间很短,可以捕获快速运动的目标。
Arun M.George等人在其发表的论文“A Reservoir-based ConvolutionalSpiking Neural Network for Gesture Recognition from DVS Input”(2020International Joint Conference on Neural Networks)中提出了一种利用脉冲神经网络对动态视觉传感器的输出数据进行目标识别的方法,这种方法利用了脉冲神经网络对动态视觉传感器的输出数据进行压缩,达到了较高的目标识别准确率,该方法存在的不足之处在于:该方法引入了事件预处理层对动态视觉传感器的输出数据进行重新编码,运算速度慢,所用的脉冲神经网络在非神经形态硬件上计算量比较大,目标识别速度慢,无法实现实时目标识别,并且脉冲神经网络目前并没有有效的监督训练方法,在目标识别的应用上,脉冲神经网络的性能并不优于传统的卷积神经网络。
Marco Cannici等人在其发表的论文“A Differentiable Recurrent Surfacefor Asynchronous Event-Based Data”(2020arXiv.org)中提出了一种利用长短期记忆网络对动态视觉传感器的输出事件流进行特征提取,并用卷积神经网络对特征提取结果进行目标识别的方法,该方法存在的不足之处在于:在对动态视觉传感器输出的事件流进行特征提取的过程中,需要对事件流进行逐事件的特征提取,并且需要引入冗余信息,从而增加了卷积神经网络进行目标识别时的计算量。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷,提出了一种基于动态视觉传感器的一体化成像识别系统和方法,旨在保证具有较高目标识别准确率的同时,提高成像识别效率,进而降低系统功耗。
为实现上述目的,本发明采用的技术方案为:
一种基于动态视觉传感器的一体化成像识别系统,包括数据采集模块、目标识别模块和数据可视化模块,其中:
所述数据采集模块,包括依次级联的镜头、动态视觉传感器和处理器;所述镜头,用于采集多幅聚焦后的彩色图像;所述动态视觉传感器,用于对每幅聚焦后彩色图像的灰度信息变化进行感知,并输出感知结果;所述处理器,用于对动态视觉传感器输出的感知结果进行解析,并输出解析结果;
所述目标识别模块,包括去噪子模块、划分子模块和识别子模块;所述去噪子模块,用于对数据采集模块输出的解析结果进行去噪,并输出去噪结果;划分子模块,用于对去噪子模块输出的去噪结果进行分段,并输出分段结果;所述识别子模块采用预训练的卷积神经网络,对划分子模块所输出的分段结果进行目标识别,并输出目标识别结果;
所述数据可视化模块,用于对目标识别模块输出的分段结果和目标识别结果进行可视化,得到成像识别结果并输出。
一种基于动态视觉传感器的一体化成像识别系统的成像识别方法,包括如下步骤:
(1)数据采集模块中的镜头采集彩色图像:
数据采集模块中的镜头采集R幅聚焦后的彩色图像P={Pr|0<r≤R},Pr表示第r幅彩色图像,R>1;
(2)数据采集模块中的动态视觉传感器获取每幅聚焦后图像Pr的灰度信息变化的信号:
数据采集模块中的动态视觉传感器感知每幅聚焦后图像Pr的灰度信息变化,得到表示图像灰度信息变化的信号C={Cr|0<r≤R},其中Cr表示Pr对应的包括Nr个事件的灰度信息变化的信号,Cr={cr,l=(xr,l,yr,l,gr,l,tr,l)|0<l≤Nr}, Nr>0,cr,l表示第l个事件,xr,l和yr,l分别表示cr,l的触发位置像素的横坐标和纵坐标,gr,l表示cr,l的灰度值,gr,l≥0,tr,l表示cr,l的触发的时间;
(3)数据采集模块中的处理器对表示图像灰度信息变化的信号C进行解析:
(3a)构建全零矩阵M=zeros(H,W),其中H和W分别表示动态视觉传感器感光部分纵向像素和横向像素的个数,H≥32,W≥32,并令M中的每一个元素m=0;
(3b)设cr,l的解析结果为er,l=(xr,l,yr,l,pr,l,tr,l),其中pr,l表示er,l的极性,并令r=1;
(3c)令l=1;
(3f)判断r<R是否成立,若是,令r=r+1,执行步骤(3c),否则,得到C解析后的地址-事件数据流集合A={Ar|0<r≤R};
(4)目标识别模块对地址-事件数据流集合A进行去噪:
目标识别模块中的去噪子模块对每个地址-事件数据流Ar进行去噪,得到去噪后的地址-事件数据流集合A'={Ar'|0<r≤R}并输出,其中Ar'表示Ar对应的去噪后的地址-事件数据流,Ar'={er,j=(xr,j,yr,j,pr,j,tr,j)|0<j≤Nr'}, 0<Nr'≤Nr;
(5)目标识别模块对每个去噪后的地址-事件数据流Ar'进行分段:
目标识别模块中的划分子模块采用时间阈值和局部事件数阈值法,对每个去噪后的地址-事件数据流Ar'进行分段,若Ar'中的剩余事件不足以分段,则将Ar' 中的剩余事件丢弃,得到地址-事件数据流段集合D={Br|0<r≤R},其中Br表示Ar'分段后的地址-事件数据流段子集合Br={Er,k|0≤k≤Mr},Er,k表示第k个地址-事件数据流段,Er,k={er,k,h=(xr,k,h,yr,k,h,pr,k,h,tr,k,h)|0<h≤Lr,k},Lr,k表示 Er,k中包含的事件数的总数,1≤Lr,k≤Nr',er,k,h=(xr,k,h,yr,k,h,pr,k,h,tr,k,h)表示Er,k中第h个事件,Mr表示地址-事件数据流段的总数,Mr>0;
(6)目标识别模块对每个地址-事件数据流段Er,k进行目标识别:
(6a)构建全零矩阵M1=zeros(H,W)和M2=zeros(H,W),并令M1和M2中的每一个元素m1=0,m2=0,令r=1;
(6b)令k=1;
(6c)令h=1;
(6d)目标识别模块中的识别子模块判断Er,k中的每个事件er,k,h的极性 pr,k,h=+1是否成立,若是,令否则,令其中,表示矩阵M1中下标为(xr,k,h,yr,k,h)的元素,表示矩阵M2中下标为(xr,k,h,yr,k,h)的元素;
(6e)目标识别模块中的识别子模块判断h<Lr,k是否成立,若是,令h=h+1,并执行步骤(6d),否则,构建以M1和M2为分别通道的三维全零矩阵 I=zeros(2,H,W),并执行步骤(6f);
(6f)将I作为预训练的卷积神经网络的输入进行目标识别,得到对地址- 事件数据流段Er,k的目标识别结果Labelr,k并输出,并执行步骤(6g),其中 Labelr,k表示Er,k的类别标签;
(6g)目标识别模块中的识别子模块判断k<Mr是否成立,若是,令k=k+1, 并执行步骤(6c),否则,得到对Br识别结果集合Labelr={Labelr,k|0<k≤Mr},并执行步骤(6h);
(6h)目标识别模块中的识别子模块判断r<R是否成立,若是,令r=r+1,并执行步骤(6b),否则,得到对D的识别结果集合Label={Labelr|0<r≤R}。
(7)数据可视化模块获取成像识别结果:
数据可视化模块采用全局事件数阈值法对每个地址-事件数据流段Er,k进行可视化,得到图像帧集合Q={Qr|0<r≤R},Qr表示Br所对应的图像帧, Qr={Qr,k|0<k≤Mr},Qr,k表示Er,k对应的图像帧。
本发明与现有技术相比,具有如下优点:
1、由于本发明通过对地址-事件数据流的分段,在时间轴上对地址-事件数据流进行了压缩,再对压缩后的地址-事件数据流进行特征提取,从而避免了对每个事件进行特征提取,与现有技术相比,在保证目标识别准确率较高的前提下,减小了对地址-事件数据流进行特征提取的计算量,进而有效降低了系统的功耗。
2、本发明使用卷积神经网络进行目标识别,卷积神经网络在CPU或GPU上的计算效率更高,与现有的采用脉冲神经网络的技术相比,降低了系统的功耗。
附图说明
图1是本发明成像识别系统的整体结构示意图。
图2是本发明成像识别方法的实现流程图。
具体实施方式
下面结合附图和具体实施例,对本发明作进一步详细描述:
参照图1,一种基于动态视觉传感器的一体化成像识别系统,包括数据采集模块、目标识别模块和数据可视化模块,其中:
所述数据采集模块,包括依次级联的镜头、动态视觉传感器和处理器;所述镜头,用于采集多幅聚焦后的彩色图像;所述动态视觉传感器,用于对每幅聚焦后彩色图像的灰度信息变化进行感知,并输出感知结果;所述处理器,用于对动态视觉传感器输出的感知结果进行解析,并输出解析结果;
所述目标识别模块,包括去噪子模块、划分子模块和识别子模块;所述去噪子模块,用于对数据采集模块输出的解析结果进行去噪,并输出去噪结果;划分子模块,用于对去噪子模块输出的去噪结果进行分段,并输出分段结果;所述识别子模块采用预训练的卷积神经网络,对划分子模块所输出的分段结果进行目标识别,并输出目标识别结果;
所述数据可视化模块,用于对目标识别模块输出的分段结果和目标识别结果进行可视化,得到成像识别结果并输出。
参照图2,一种基于动态视觉传感器的一体化成像识别系统的成像识别方法,包括如下步骤:
步骤1)数据采集模块中的镜头采集彩色图像:
数据采集模块中的镜头采集R幅聚焦后的彩色图像P={Pr|0<r≤R},Pr表示第r幅彩色图像,R>1。本实施例中,所用镜头为可见光定焦镜头。
步骤2)数据采集模块中的动态视觉传感器获取每幅聚焦后图像Pr的灰度信息变化的信号:
数据采集模块中的动态视觉传感器感知每幅聚焦后图像Pr的灰度信息变化,得到表示图像灰度信息变化的信号C={Cr|0<r≤R},其中Cr表示Pr对应的包括Nr个事件的灰度信息变化的信号,Cr={cr,l=(xr,l,yr,l,gr,l,tr,l)|0<l≤Nr}, Nr>0,cr,l表示第l个事件,xr,l和yr,l分别表示cr,l的触发位置像素的横坐标和纵坐标,gr,l表示cr,l的灰度值,0≤gr,l,tr,l表示cr,l的触发的时间。本实施例中,数据采集模块中所用的动态视觉传感器感光部分纵向有H=800个像素,横向有 W=1280个像素,所以0≤xr,l<1280,0≤yr,l<800,动态视觉传感器共有4096 个灰度级,所以0≤gr,l<4096。
步骤3)动态视觉传感器输出的表示图像灰度信息变化的信号C只包含事件的地址信息、灰度值和事件触发的时间信息,而地址-事件数据流中的事件包含事件的地址信息、事件的极性信息和事件的触发时间,所以数据采集模块中的处理器需要将表示图像灰度信息变化的信号C解析为地址-事件数据流,地址-事件数据流中每个事件的极性信息p表示事件灰度变化的方向,p=±1,p=-1表示该事件触发位置的像素感受到的光强减弱,p=+1表示该事件触发位置的像素感受到的光强增强,解析过程为:
步骤3a)构建全零矩阵M=zeros(H,W),并令M中的每一个元素m=0;
步骤3b)设cr,l的解析结果为er,l=(xr,l,yr,l,pr,l,tr,l),其中pr,l表示er,l的极性,并令r=1;
步骤3c)令l=1;
步骤3f)判断r<R是否成立,若是,令r=r+1,执行步骤3c),否则,得到C解析后的地址-事件数据流集合A={Ar|0<r≤R}。
步骤4)因为地址-事件数据流中含有噪声,会影响目标识别准确率,所以需要目标识别模块对地址-事件数据流集合A进行去噪:
目标识别模块中的去噪子模块用基于空间密度聚类的去噪方法、基于时间阈值的去噪方法或基于概率无向图的去噪方法对每个地址-事件数据流Ar进行去噪,得到去噪后的地址-事件数据流集合A'={Ar'|0<r≤R}并输出,其中Ar'表示Ar对应的去噪后的地址-事件数据流, Ar'={er,j=(xr,j,yr,j,pr,j,tr,j)|0<j≤Nr'},0<Nr'≤Nr。本实施例中使用的去噪方法为基于时间阈值的去噪方法。
步骤5)地址-事件数据流A中包含一段时间内的所有事件,根据目标运动快慢的不同,这段时间内的事件数量也会随之变化,为保证进行目标识别时地址 -事件数据流中的事件数的稳定,所以需要目标识别模块对每个去噪后的地址-事件数据流Ar'进行分段:
目标识别模块中的划分子模块采用时间阈值和局部事件数阈值法,对每个去噪后的地址-事件数据流Ar'进行分段,若Ar'中的剩余事件不足以分段,则将Ar' 中的剩余事件丢弃,得到地址-事件数据流段集合D={Br|0<r≤R},其中Br表示Ar'分段后的地址-事件数据流段子集合Br={Er,k|0≤k≤Mr},Er,k表示第k个地址-事件数据流段,Er,k={er,k,h=(xr,k,h,yr,k,h,pr,k,h,tr,k,h)|0<h≤Lr,k},Lr,k表示 Er,k中包含的事件数的总数,1≤Lr,k≤Nr',er,k,h=(xr,k,h,yr,k,h,pr,k,h,tr,k,h)表示Er,k中第h个事件,Mr表示地址-事件数据流段的总数,Mr>0。本实施例中,在时间阈值和局部事件数阈值法中的参数时间阈值为Th=10ms,事件分区数为4,各分区事件数阈值为1000。
步骤6)目标识别模块对每个地址-事件数据流段Er,k进行目标识别:
步骤6a)构建全零矩阵M1=zeros(H,W)和M2=zeros(H,W),并令M1和M2中的每一个元素m1=0,m2=0,令r=1;
步骤6b)令k=1;
步骤6c)令h=1;
步骤6d)目标识别模块中的识别子模块判断Er,k中的每个事件er,k,h的极性 pr,k,h=+1是否成立,若是,令否则,令其中,表示矩阵M1中下标为(xr,k,h,yr,k,h)的元素,表示矩阵M2中下标为(xr,k,h,yr,k,h)的元素;
步骤6e)目标识别模块中的识别子模块判断h<Lr,k是否成立,若是,令 h=h+1,并执行步骤6d),否则,构建以M1和M2为分别通道的三维全零矩阵 I=zeros(2,H,W),执行步骤6f);
步骤6f)将I作为预训练的卷积神经网络的输入进行目标识别,得到对地址 -事件数据流段Er,k的目标识别结果Labelr,k并输出,执行步骤6g),其中Labelr,k表示Er,k的类别标签,预训练的卷积神经网络的预训练过程包括如下步骤:
步骤6f1)获取训练数据集T1:
选取包含S类目标的地址-事件数据流段,构成集合J={Ko|0<o<S},Ko表示第o类目标的地址-事件数据流段集合,Ko={Zo,q|0<q≤G1},Zo,q表示第q 个地址-事件数据流段,G1>500,并根据步骤6c)和步骤6d)将每个地址-事件数据流段Zo,q解析为三维矩阵Io,q,对每个三维矩阵Io,q进行标记,将标记后的三维矩阵作为训练数据集T1。在本实施例中,S=9,G1=3000;
步骤6f2)构建包含多个卷积层、多个最大池化层、多个ReLu层和多个全连接层的卷积神经网络F;
步骤6f3)对卷积神经网络F进行迭代训练:
步骤6f3a)设迭代次数为u=1,最大迭代次数为U=15000;
步骤6f3b)从训练数据集T1中随机选取v个三维矩阵作为卷积神经网络F的输入进行训练,得到v个地址-事件数据流段的标签LDA={l1,l2,,…,lw,…,lv},用均方误差损失函数通过LDA和其对应的真实标签LT={l1',l2',…,lw',…,lv'}计算卷积神经网络的损失值Lossu,其中0<v≤64,0<w≤v,损失值的计算公式为:
步骤6f3c)用梯度下降法通过损失值Lossu对卷积神经网络F的参数进行更新,参数更新公式为:
其中,ωu表示更新前卷积层的参数,ωu+1表示更新后的卷积层的参数,θu表示更新前全连接层的参数,θu+1表示更新后的全连接层的参数;
步骤6f3d)判断u>U是否成立,若是,得到训练好的卷积神经网络F,否则,令u=u+1,执行步骤6f3b);
步骤6g)目标识别模块中的识别子模块判断k<Mr是否成立,若是,令 k=k+1,并执行步骤6c),否则,得到对Br识别结果集合 Labelr={Labelr,k|0<k≤Mr},并执行步骤6h);
步骤6h)目标识别模块中的识别子模块判断r<R是否成立,若是,令r=r+1,并执行步骤6b),否则,得到对D的识别结果集合Label={Labelr|0<r≤R}。
步骤7)数据可视化模块获取成像识别结果:
数据可视化模块采用全局事件数阈值法对每个地址-事件数据流段Er,k进行可视化,得到图像帧集合Q={Qr|0<r≤R},Qr表示Br所对应的图像帧, Qr={Qr,k|0<k≤Mr},Qr,k表示Er,k对应的图像帧。
Claims (3)
1.一种基于动态视觉传感器的一体化成像识别系统的成像识别方法,其特征在于,包括如下步骤:
(1)数据采集模块中的镜头采集彩色图像:
数据采集模块中的镜头采集R幅聚焦后的彩色图像P={Pr|0<r≤R},Pr表示第r幅彩色图像,R>1;
(2)数据采集模块中的动态视觉传感器获取每幅聚焦后图像Pr的灰度信息变化的信号:
数据采集模块中的动态视觉传感器感知每幅聚焦后图像Pr的灰度信息变化,得到表示图像灰度信息变化的信号C={Cr|0<r≤R},其中Cr表示Pr对应的包括Nr个事件的灰度信息变化的信号,Cr={cr,n=(xr,n,yr,n,gr,n,tr,n)|0<n≤Nr},Nr>0,cr,n表示第n个事件,xr,n和yr,n分别表示cr,n的触发位置像素的横坐标和纵坐标,gr,n表示cr,n的灰度值,gr,l≥0,tr,n表示cr,n的触发的时间;
(3)数据采集模块中的处理器对表示图像灰度信息变化的信号C进行解析:
(3a)构建全零矩阵M=zeros(H,W),其中H和W分别表示动态视觉传感器感光部分纵向像素和横向像素的个数,H≥32,W≥32,并令M中的每一个元素m=0;
(3b)设cr,n的解析结果为er,n=(xr,n,yr,n,pr,n,tr,n),其中pr,n表示er,n的极性,并令r=1;
(3c)令n=1;
(3f)判断r<R是否成立,若是,令r=r+1,执行步骤(3c),否则,得到C解析后的地址-事件数据流集合A={Ar|0<r≤R};
(4)目标识别模块对地址-事件数据流集合A进行去噪:
目标识别模块中的去噪子模块对每个地址-事件数据流Ar进行去噪,得到去噪后的地址-事件数据流集合A'={Ar'|0<r≤R}并输出,其中Ar'表示Ar对应的去噪后的地址-事件数据流,Ar'={er,j=(xr,j,yr,j,pr,j,tr,j)|0<j≤Nr'},0<Nr'≤Nr;
(5)目标识别模块对每个去噪后的地址-事件数据流Ar'进行分段:
目标识别模块中的划分子模块采用时间阈值和局部事件数阈值法,对每个去噪后的地址-事件数据流Ar'进行分段,若Ar'中的剩余事件不足以分段,则将Ar'中的剩余事件丢弃,得到地址-事件数据流段集合D={Br|0<r≤R},其中Br表示Ar'分段后的地址-事件数据流段子集合Br={Er,k|0≤k≤Mr},Er,k表示第k个地址-事件数据流段,Er,k={er,k,h=(xr,k,h,yr,k,h,pr,k,h,tr,k,h)|0<h≤Lr,k},Lr,k表示Er,k中包含的事件数的总数,1≤Lr,k≤Nr',er,k,h=(xr,k,h,yr,k,h,pr,k,h,tr,k,h)表示Er,k中第h个事件,Mr表示地址-事件数据流段的总数,Mr>0;
(6)目标识别模块对每个地址-事件数据流段Er,k进行目标识别:
(6a)构建全零矩阵M1=zeros(H,W)和M2=zeros(H,W),并令M1和M2中的每一个元素m1=0,m2=0,令r=1;
(6b)令k=1;
(6c)令h=1;
(6d)目标识别模块中的识别子模块判断Er,k中的每个事件er,k,h的极性pr,k,h=+1是否成立,若是,令否则,令其中,表示矩阵M1中下标为(xr,k,h,yr,k,h)的元素,表示矩阵M2中下标为(xr,k,h,yr,k,h)的元素;
(6e)目标识别模块中的识别子模块判断h<Lr,k是否成立,若是,令h=h+1,并执行步骤(6d),否则,构建以M1和M2为分别通道的三维全零矩阵I=zeros(2,H,W),并执行步骤(6f);
(6f)将I作为预训练的卷积神经网络的输入进行目标识别,得到对地址-事件数据流段Er,k的目标识别结果Labelr,k并输出,并执行步骤(6g),其中Labelr,k表示Er,k的类别标签;
(6g)目标识别模块中的识别子模块判断k<Mr是否成立,若是,令k=k+1,并执行步骤(6c),否则,得到对Br识别结果集合Labelr={Labelr,k|0<k≤Mr},并执行步骤(6h);
(6h)目标识别模块中的识别子模块判断r<R是否成立,若是,令r=r+1,并执行步骤(6b),否则,得到对D的识别结果集合Label={Labelr|0<r≤R};
(7)数据可视化模块获取成像识别结果:
数据可视化模块采用全局事件数阈值法对每个地址-事件数据流段Er,k进行可视化,得到图像帧集合Q={Qr|0<r≤R},Qr表示Br所对应的图像帧,Qr={Qr,k|0<k≤Mr},Qr,k表示Er,k对应的图像帧。
2.根据权利要求1所述的基于动态视觉传感器的一体化成像识别系统的成像识别方法,其特征在于,步骤(4)中所述的对地址-事件数据流进行去噪,采用基于空间密度聚类的去噪方法、基于时间阈值的去噪方法或基于概率无向图的去噪方法。
3.根据权利要求1所述的基于动态视觉传感器的一体化成像识别系统的成像识别方法,其特征在于,步骤(6f)中所述的预训练的卷积神经网络,其中预训练包括如下步骤:
(6f1)获取训练数据集T1:
选取包含S类目标的多个地址-事件数据流段,构成集合J={Ko|0<o<S},Ko表示第o类目标的地址-事件数据流段子集合,Ko={Zo,q|0<q≤G1},Zo,q表示第q个地址-事件数据流段,G1>500,并根据权利要求2中步骤(6c)和步骤(6d)将每个地址-事件数据流段Zo,q解析为三维矩阵Io,q,对每个三维矩阵Io,q进行标记,将标记后的三维矩阵作为训练数据集T1;
(6f2)构建包含多个卷积层、多个最大池化层、多个ReLu层和多个全连接层的卷积神经网络F;
(6f3)对卷积神经网络F进行迭代训练:
(6f3a)设迭代次数为u=1,最大迭代次数为U;
(6f3b)从训练数据集T1中随机选取v个三维矩阵作为卷积神经网络F的输入进行训练,得到v个地址-事件数据流段的标签LE={LE1,LE2,,…,LEw,…,LEv},用均方误差损失函数通过LE和其对应的真实标签LT={LT1',LT2',…,LTw',…,LTv'}计算卷积神经网络的损失值Lossu:
其中0<v≤64,0<w≤v;
(6f3c)用梯度下降法通过损失值Lossu对卷积神经网络F的参数进行更新,参数更新公式为:
其中,ωu表示更新前卷积层的参数,ωu+1表示更新后的卷积层的参数,θu表示更新前全连接层的参数,θu+1表示更新后的全连接层的参数;
(6f3d)判断u>U是否成立,若是,得到训练好的卷积神经网络F,否则,令u=u+1,执行步骤(6f3b)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011207554.0A CN112308087B (zh) | 2020-11-03 | 2020-11-03 | 基于动态视觉传感器的一体化成像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011207554.0A CN112308087B (zh) | 2020-11-03 | 2020-11-03 | 基于动态视觉传感器的一体化成像识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112308087A CN112308087A (zh) | 2021-02-02 |
CN112308087B true CN112308087B (zh) | 2023-04-07 |
Family
ID=74334143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011207554.0A Active CN112308087B (zh) | 2020-11-03 | 2020-11-03 | 基于动态视觉传感器的一体化成像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112308087B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113009897A (zh) * | 2021-03-09 | 2021-06-22 | 北京灵汐科技有限公司 | 一种智能家电的控制方法、装置、智能家电及存储介质 |
CN113408671B (zh) * | 2021-08-18 | 2021-11-16 | 成都时识科技有限公司 | 一种对象识别方法及装置、芯片及电子设备 |
CN114078100A (zh) * | 2021-11-25 | 2022-02-22 | 成都时识科技有限公司 | 聚类降噪装置、方法、芯片、事件成像装置及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105469039A (zh) * | 2015-11-19 | 2016-04-06 | 天津大学 | 基于aer图像传感器的目标识别系统 |
CN109726356A (zh) * | 2019-01-17 | 2019-05-07 | 西安电子科技大学 | 一种动态视觉传感器的地址事件流数据去噪方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150120124A (ko) * | 2014-04-17 | 2015-10-27 | 삼성전자주식회사 | 다이내믹 비전 센서 및 이를 포함하는 모션 인식 장치 |
CN108731587A (zh) * | 2017-04-14 | 2018-11-02 | 中交遥感载荷(北京)科技有限公司 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
CN107403154B (zh) * | 2017-07-20 | 2020-10-16 | 四川大学 | 一种基于动态视觉传感器的步态识别方法 |
CN109815876B (zh) * | 2019-01-17 | 2021-01-05 | 西安电子科技大学 | 基于地址事件流特征的手势识别方法 |
CN109816725B (zh) * | 2019-01-17 | 2023-03-14 | 合肥哈工慧拣智能科技有限公司 | 一种基于深度学习的单目相机物体位姿估计方法及装置 |
CN110555865B (zh) * | 2019-08-07 | 2022-04-19 | 清华大学无锡应用技术研究院 | 一种基于帧图像的动态视觉传感器样本集建模方法 |
-
2020
- 2020-11-03 CN CN202011207554.0A patent/CN112308087B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105469039A (zh) * | 2015-11-19 | 2016-04-06 | 天津大学 | 基于aer图像传感器的目标识别系统 |
CN109726356A (zh) * | 2019-01-17 | 2019-05-07 | 西安电子科技大学 | 一种动态视觉传感器的地址事件流数据去噪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112308087A (zh) | 2021-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110378381B (zh) | 物体检测方法、装置和计算机存储介质 | |
CN113065558B (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
CN112308087B (zh) | 基于动态视觉传感器的一体化成像识别方法 | |
CN111814661B (zh) | 基于残差-循环神经网络的人体行为识别方法 | |
CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
CN113591968A (zh) | 一种基于非对称注意力特征融合的红外弱小目标检测方法 | |
CN109816695A (zh) | 一种复杂背景下的红外小型无人机目标检测与跟踪方法 | |
CN113673590B (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
CN111027382B (zh) | 一种基于注意力机制的轻量级人脸检测的方法及模型 | |
CN112232371B (zh) | 一种基于YOLOv3与文本识别的美式车牌识别方法 | |
CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
CN113139489B (zh) | 基于背景提取和多尺度融合网络的人群计数方法及系统 | |
CN110689021A (zh) | 一种基于深度学习的低可见度环境下实时目标检测方法 | |
CN109685045A (zh) | 一种运动目标视频跟踪方法及系统 | |
CN111753682A (zh) | 一种基于目标检测算法的吊装区域动态监控方法 | |
CN116342894B (zh) | 基于改进YOLOv5的GIS红外特征识别系统及方法 | |
CN115063786A (zh) | 一种高位远景模糊车牌检测方法 | |
CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
CN112396635A (zh) | 一种基于多设备的复杂环境下多目标检测方法 | |
Zhu et al. | Towards automatic wild animal detection in low quality camera-trap images using two-channeled perceiving residual pyramid networks | |
Wang et al. | Skip-connection convolutional neural network for still image crowd counting | |
CN113887472A (zh) | 基于级联颜色及纹理特征注意力的遥感图像云检测方法 | |
CN116363535A (zh) | 基于卷积神经网络的无人机航拍影像中的船舶检测方法 | |
CN114663769B (zh) | 一种基于YOLO v5的水果识别方法 | |
CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |