CN109815876B - 基于地址事件流特征的手势识别方法 - Google Patents

基于地址事件流特征的手势识别方法 Download PDF

Info

Publication number
CN109815876B
CN109815876B CN201910043621.0A CN201910043621A CN109815876B CN 109815876 B CN109815876 B CN 109815876B CN 201910043621 A CN201910043621 A CN 201910043621A CN 109815876 B CN109815876 B CN 109815876B
Authority
CN
China
Prior art keywords
address event
sequence
peak
event stream
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910043621.0A
Other languages
English (en)
Other versions
CN109815876A (zh
Inventor
吴金建
张姝
谢雪梅
石光明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910043621.0A priority Critical patent/CN109815876B/zh
Publication of CN109815876A publication Critical patent/CN109815876A/zh
Application granted granted Critical
Publication of CN109815876B publication Critical patent/CN109815876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于地址事件流特征的手势识别方法,主要用于解决复杂背景下的手势识别问题。其实现方案是:(1)采集地址事件流数据;(2)对每个地址事件流序列进行去噪;(3)确认峰值地址事件流序列;(4)检测峰值地址事件流序列的特征事件;(5)提取特征事件的局部不变特征;(6)筛选有效手势的局部不变特征;(7)训练支持向量机SVM分类器;(8)分类。本发明保留地址事件的异步特性的同时,减少非有效手势特征计算,只对特征事件进行特征提取。本发明的优势在于,准确率高,适用性强。

Description

基于地址事件流特征的手势识别方法
技术领域
本发明属于物理技术领域,更进一步涉及信号处理技术领域中的一种基于地址事件流特征的手势识别方法。本发明预先设定不同运动方式含义的手势类型,在虚拟现实、人机交互的不同复杂背景环境下识别所设定的手势类型。
背景技术
人与计算机的交互方式主要依赖于键盘、鼠标和触摸屏等机械装置。尽管这种以计算机为中心的传统触控方式在日常生活中被广泛熟练使用,但是自然直观,更符合人们日常生活习惯的、以人为中心的新型交互方式逐渐成为主流趋势。其中一种主流趋势就是手势识别技术。
基于视觉的手势识别能够使操作者以更加自然的方式进行人机交互,且灵活性更大,所以得到了更多的研究和关注。但在现实应用中,背景扰乱以及光照变化等复杂环境给手势识别带来了很大困难,此外,基于视觉的手势识别涉及到大量视频数据的处理,对计算机的运算速度和存储容量要求很高。以上存在的局限性已经越来不能满足当前的视觉任务需求,所以需要新的研究方法。
易生等人在其发表的论文“基于多列深度3D卷积神经网络的手势识别”(计算机工程,2017,43(8):243-248)中提出了一种基于多列深度3D卷积网络的手势识别方法。该方法在大型数据集上通过3D卷积核对连续图像帧进行卷积操作,将多个3D卷积神经网络进行并行连接,提取手势的时间和空间特征捕捉运动信息,提升了连续运动手势的识别能力。但是,该方法仍然存在的不足之处是,由于该方法未进行数据筛选对全部数据进行运算,存在运算量巨大,处理负担较重的问题。
Arnon Amir等人在其发表的论文“A Low Power,Fully Event-Based GestureRecognition System”(2017 IEEE Conference on Computer Vision and PatternRecognition CVPR)中提出了一种基于动态视觉传感器地址事件流和深度神经网络的手势识别方法。该方法利用级联的时间滤波器将动态视觉传感器的地址事件流累积为图像,将多张事件图像作为深度神经网络的输入,通过训练完成后的网络模型实现手势识别。但是,该方法仍然存在的不足之处是,为了利用现有的处理模式将事件流转换为图像帧,提取图像帧中的特征进行识别,未真正保留地址事件的异步特性。
西南民族大学在其申请的专利文献“一种基于摄像头视觉信息的手势识别方法”(专利申请号:201810178503.6,申请公开号:CN108509853 A)中提出了一种基于摄像头视觉信息的手势识别方法。该方法利用皮肤颜色特征函数对视频帧中的像素点进行肤色像素点判断,将肤色像素点判断后的视频帧进行二值化处理,得到二值化图像,利用手指之间的间隙这一特征进行手指个数的识别计算。该方法虽然操作简单,但是,该方法仍然存在的不足之处是,极易受类肤色物体影响,导致识别错误率高,只适应于简单环境中特定的手势,适用性不强。
发明内容
本发明的目的是针对上述现有技术的不足,提出了一种基于地址事件流特征的手势识别方法,本发明可以在复杂背景环境下实现手势识别,同时,本发明提取有效手势事件流特征进行识别,减少冗余手势数据的计算量,提高了计算效率。
实现本发明目的的具体思路是,将连续手势的地址事件流数据划分为多个地址事件流序列,针对每个事件流序列,利用空间聚类算法去除噪声事件;从手势变化引起的事件数量的变化,得到事件数量变化趋势,从该趋势中得到峰值地址事件流序列;检测峰值地址事件流序列中的特征事件,并提取特征事件的局部不变特征;利用特征事件的空间分布,筛选有效手势的局部不变特征;利用词袋模型和支持向量机SVM完成手势识别。
本发明的具体步骤包括如下:
(1)采集地址事件流数据:
(1a)利用动态视觉传感器,将拍摄同一个人连续做预先设定的不同运动方式含义的手势类型,组成一个手势地址事件流文件;
(1b)将至少15个人的手势地址事件流文件组成手势地址事件流数据库;
(2)划分手势地址事件流数据:
(2a)从手势地址事件流数据库中,读取一个未读过的手势地址事件流文件;
(2b)以10毫秒的时间间隔,将所读的手势地址事件流文件中的手势地址事件流数据划分为多个地址事件流序列;
(3)对每个地址事件流序列进行去噪:
(3a)利用空间密度聚类算法,对每个地址事件流序列进行去噪,得到每个去噪后的地址事件流序列,统计每个去噪后地址事件流序列的事件总数;
(3b)将所有去噪后地址事件流序列的事件总数组成一个地址事件流变化趋势序列;
(4)确认峰值地址事件流序列:
(4a)对地址事件流变化趋势序列进行低通滤波,得到平滑后的地址事件流变化趋势序列;
(4b)依次将平滑后的地址事件流变化趋势序列中的每一个元素与之相邻元素相减,将所得的差值依次组成一阶差分序列,将一阶差分序列中的每一个元素与之相邻元素相减,将所得的差值依次组成二阶差分序列;
(4c)去除一阶差分序列的首元素,若去除首元素后的一阶差分序列中的每一个元素与二阶差分序列中对应位置的每一个元素均为负数,则将该两个元素对应位置序号加2,作为平滑后的地址事件流变化趋势序列趋势向下的转折位置;若所述转折位置在地址事件流变化趋势序列中对应的元素大于等于先验阈值,则将该转折点位置作为候选波峰位置,将候选波峰位置依次组成候选波峰位置序列;
(4d)利用波峰跨度方法,生成真实波峰位置序列;
(4e)将真实波峰位置序列中每一个波峰位置对应的去噪后地址事件流序列,作为峰值地址事件流序列,将峰值地址事件流序列组成峰值地址事件流序列集;
(5)生成激活频率矩阵:
(5a)依次读入峰值地址事件流序列集中的每个峰值地址事件流序列,组成r行k列的地址事件矩阵M1,其中,r表示峰值地址事件流序列的事件总数,k表示每个事件的四个属性;
(5b)生成一个全0的激活频率矩阵M2;
(6)检测峰值地址事件流序列的特征事件:
(6a)从地址事件矩阵M1中按行读入每个地址事件,将地址事件位置属性对应激活频率矩阵M2位置处的元素值加1;
(6b)从激活频率矩阵M2中截取以读入的地址事件为中心的N行N列的激活频率子矩阵M3,作为所读地址事件的局部激活频率矩阵M4,其中N的取值为5、7、9或13中的任意一个奇数值;
(6c)利用哈里斯Harris角点检测算法,计算局部激活频率矩阵M4中所读地址事件的角点响应值,将角点响应值大于角点响应阈值的所读地址事件作为当前特征事件;
(7)提取当前特征事件的局部尺度不变特征:
利用加速稳健特征SURF算法,提取当前激活频率矩阵M2中以当前特征事件为中心的局部尺度不变特征;
(8)判断是否读完地址事件矩阵M1中的所有事件,若是,则将每个峰值地址事件流序列的所有特征事件组成该峰值地址事件流序列的特征事件集,以及将所述特征事件集中所有特征事件的局部不变特征组成该峰值地址事件流序列的局部不变特征集,并执行步骤(9),否则,执行步骤(6);
(9)判断峰值地址事件流序列的读入个数是否大于等于2,若是,则执行步骤(10),否则,执行步骤(5);
(10)筛选有效手势的局部不变特征:
(10a)利用重心计算公式,计算当前峰值地址事件流序列的特征事件集中所有特征事件的重心位置A;
(10b)利用重心计算公式,计算上一个峰值地址事件流序列的特征事件集中所有特征事件的重心位置B;
(10c)若中心位置A的纵坐标与中心位置B的纵坐标之间的差值小于负12,或所述差值的绝对值小于10,则保留该峰值地址事件流序列的局部不变特征集,否则,则丢弃该峰值地址事件流序列的局部不变特征集;
(11)判断是否读完手势地址事件流数据库中所有手势地址事件流文件,若是,将所有峰值地址事件流序列的局部不变特征集组成有效手势特征集,并执行步骤(12),否则,执行步骤(2);
(12)训练支持向量机SVM分类器:
(12a)将有效手势特征集中所有局部不变特征集按5:1的比例,随机划分为训练特征集和测试特征集;
(12b)利用词袋模型BOW方法,将训练特征集中任意一个局部不变特征集简化为一个局部不变特征向量,得到训练特征向量集;
(12c)将训练特征向量集输入到分类器中,对支持向量机SVM分类器进行训练,得到训练好的分类器;
(13)分类:
将测试特征向量集输入到训练好的分类器中,得到最终分类结果。
本发明与现有技术相比具有以下优点:
第一,由于本发明采用检测峰值地址事件流序列的特征事件的方法,能准确的提取手势的关键特征事件,克服了现有技术只适应于简单环境中特定的手势,适用性不强的问题,使得本发明对复杂背景具有更强的适应性。
第二,由于本发明采用提取当前特征事件的局部尺度不变特征的方法,克服了现有技术中利用现有的处理模式将事件流转换为图像帧,提取图像帧中的特征进行识别,未真正保留地址事件的异步特性的问题,使得本发明在保留地址事件的异步特性的同时,只对特征事件进行特征提取,减少了手势识别过程中内存的消耗,提高了识别效率。
第三,由于本发明采用筛选有效手势的局部不变特征进行分类识别的方法,克服了现有技术中未进行数据筛选对全部数据进行运算,存在运算量大,处理负担较重的问题,使得本发明减少了非有效手势特征计算,降低了手势识别过程的计算量和复杂性。
附图说明
图1是本发明的流程图;
图2是本发明的仿真实验中设定手势图;
图3是本发明的仿真实验中峰值地址事件流序列的累积图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照图1,对本发明实现的具体步骤做进一步的描述。
步骤1,采集地址事件流数据。
利用动态视觉传感器,将拍摄同一个人连续做预先设定的不同运动方式含义的手势类型,组成一个手势地址事件流文件。
将至少15个人的手势地址事件流文件组成手势地址事件流数据库。
步骤2,划分手势地址事件流数据。
从手势地址事件流数据库中,读取一个未读过的手势地址事件流文件。
以10毫秒的时间间隔,将所读的手势地址事件流文件中的手势地址事件流数据划分为多个地址事件流序列。
步骤3,对每个地址事件流序列进行去噪。
利用空间密度聚类算法,对每个地址事件流序列进行去噪,得到每个去噪后的地址事件流序列,统计每个去噪后地址事件流序列的事件总数。
所述的空间密度聚类算法是指,采用具有噪声的基于密度的聚类方法DBSCAN、排序识别聚类结构方法OPTICS、基于密度的聚类DENCLUE中的任意一种算法。
将所有去噪后地址事件流序列的事件总数组成一个地址事件流变化趋势序列。
步骤4,确认峰值地址事件流序列。
对地址事件流变化趋势序列进行低通滤波,得到平滑后的地址事件流变化趋势序列。
依次将平滑后的地址事件流变化趋势序列中的每一个元素与之相邻元素相减,将所得的差值依次组成一阶差分序列,将一阶差分序列中的每一个元素与之相邻元素相减,将所得的差值依次组成二阶差分序列。
去除一阶差分序列的首元素,若去除首元素后的一阶差分序列中的每一个元素与二阶差分序列中对应位置的每一个元素均为负数,则将该两个元素对应位置序号加2,作为平滑后的地址事件流变化趋势序列趋势向下的转折位置;若所述转折位置在地址事件流变化趋势序列中对应的元素大于等于先验阈值,则将该转折点位置作为候选波峰位置,将候选波峰位置依次组成候选波峰位置序列。
所述的先验阈值是指从500、600、700、800、900和1000中任意选取的一个整数。
利用波峰跨度方法,生成真实波峰位置序列。
所述的波峰跨度方法的具体步骤如下:
第1步,将候选波峰位置序列的首元素作为第一个真实波峰位置。
第2步,从候选波峰位置序列的第二个候选波峰位置开始的每个候选波峰位置至最近的真实波峰位置组成位置区间,将平滑后的地址事件流变化趋势序列在所述位置区间对应的子序列中最小值的位置作为候选波峰位置最邻近的波谷位置。
第3步,若候选波峰位置与最近的真实波峰位置的距离大于波峰距离阈值,且候选波峰位置与最邻近的波谷位置之间的距离大于波峰波谷距离阈值,则将该候选波峰位置作为真实波峰位置,将真实波峰位置依次组成真实波峰位置序列,其中波峰距离阈值取值为20,波峰波谷距离阈值为12。
将真实波峰位置序列中每一个波峰位置对应的去噪后地址事件流序列,作为峰值地址事件流序列,将峰值地址事件流序列依次组成峰值地址事件流序列集。
步骤5,生成激活频率矩阵。
依次读入峰值地址事件流序列集中的每个峰值地址事件流序列,组成r行k列的地址事件矩阵M1,其中,r表示峰值地址事件流序列的事件总数,k表示每个事件的四个属性。
所述每个事件的四个属性是指,该事件在三维空间坐标系对应的横坐标位置,该事件在三维空间坐标系对应的纵坐标位置,该事件发生的时间戳,该事件的极性,其中,极性取值为±1。
生成一个全0的激活频率矩阵M2。
步骤6,检测峰值地址事件流序列的特征事件。
从地址事件矩阵M1中按行读入每个地址事件,将地址事件位置属性对应激活频率矩阵M2位置处的元素值加1。
从激活频率矩阵M2中截取以读入的地址事件为中心的N行N列的激活频率子矩阵M3,作为所读地址事件的局部激活频率矩阵M4,其中N的取值为5、7、9或13中的任意一个奇数值。
利用哈里斯Harris角点检测算法,计算局部激活频率矩阵M4中所读地址事件的角点响应值,将角点响应值大于角点响应阈值的所读地址事件作为当前特征事件。
所述角点响应阈值是指从5、6、7和8中选取的任意一个整数。
步骤7,提取当前特征事件的局部尺度不变特征。
利用加速稳健特征SURF算法,提取当前激活频率矩阵M2中以当前特征事件为中心的局部尺度不变特征。
步骤8,判断是否读完地址事件矩阵M1中的所有事件,若是,则将每个峰值地址事件流序列的所有特征事件组成该峰值地址事件流序列的特征事件集,以及将所述特征事件集中所有特征事件的局部不变特征组成该峰值地址事件流序列的局部不变特征集,并执行步骤9,否则,执行步骤6。
步骤9,判断峰值地址事件流序列的读入个数是否大于等于2,若是,则执行步骤10,否则,执行步骤5。
步骤10,筛选有效手势的局部不变特征。
利用重心计算公式,计算当前峰值地址事件流序列的特征事件集中所有特征事件的重心位置A。
所述重心计算公式如下:
Figure GDA0002700856510000081
Figure GDA0002700856510000082
其中,x'表示重心位置的横坐标,∑表示求和操作,n表示峰值地址事件流序列的特征事件集中特征事件的总数,i表示峰值地址事件流序列的特征事件集中特征事件的序号,i=1,2,…,n,xi表示峰值地址事件流序列的特征事件集中第i个特征事件在三维空间坐标系对应的横坐标位置,y'表示重心位置的纵坐标,yi表示峰值地址事件流序列的特征事件集中第i个特征事件在三维空间坐标系对应的纵坐标位置。
利用重心计算公式,计算上一个峰值地址事件流序列的特征事件集中所有特征事件的重心位置B。
所述重心计算公式如下:
Figure GDA0002700856510000083
Figure GDA0002700856510000084
其中,x'表示重心位置的横坐标,∑表示求和操作,n表示峰值地址事件流序列的特征事件集中特征事件的总数,i表示峰值地址事件流序列的特征事件集中特征事件的序号,i=1,2,…,n,xi表示峰值地址事件流序列的特征事件集中第i个特征事件在三维空间坐标系对应的横坐标位置,y'表示重心位置的纵坐标,yi表示峰值地址事件流序列的特征事件集中第i个特征事件在三维空间坐标系对应的纵坐标位置。
若中心位置A的纵坐标与中心位置B的纵坐标之间的差值小于负12,或所述差值的绝对值小于10,则保留该峰值地址事件流序列的局部不变特征集,否则,则丢弃该峰值地址事件流序列的局部不变特征集。
步骤11,判断是否读完手势地址事件流数据库中所有手势地址事件流文件,若是,将所有峰值地址事件流序列的局部不变特征集组成有效手势特征集,并执行步骤12,否则,执行步骤2。
步骤12,训练支持向量机SVM分类器。
将有效手势特征集中所有局部不变特征集按5:1的比例,随机划分为训练特征集和测试特征集。
利用词袋模型BOW方法,将训练特征集中任意一个局部不变特征集简化为一个局部不变特征向量,得到训练特征向量集;将测试特征集中任意一个局部不变特征集简化为一个局部不变特征向量,得到测试特征向量集。
用训练特征向量集对支持向量机SVM分类器进行训练,得到训练好的分类器。
步骤13,分类。
将测试特征向量集输入到训练好的分类器中,得到最终分类结果。
下面结合仿真图对本发明的效果做进一步的描述。
1、仿真条件:
本发明所用的手势地址事件流数据库为自拍的一组包含3个手势动作的地址事件流文件库,其中手势地址事件流数据库包含15个地址事件流文件,3个手势动作分别如图2中的(a)、(b)、(c)所示,每6张图代表了一个完整手势动作。硬件平台为:Intel Core(TM)i7-6700 CPU@3.4GHZ、64GB RAM,软件平台:MATLAB R2017a;本发明仿真实验采集手势地址时间流数据的动态视觉传感器是瑞士INIVATION公司的DAVIS240C型号。
2、实验内容与结果分析:
本发明首先通过将连续手势的地址事件流数据划分为多个地址事件流序列,针对每个事件流序列,利用空间聚类算法去除噪声事件;将去噪后地址事件流序列的事件个数组成地址事件流变化趋势序列,对地址事件流变化趋势进行低通滤波,得到平滑后的地址事件流变化趋势序列,从该趋势中得到候选波峰位置并利用波峰跨度方法得到真实波峰位置,检测峰值地址事件流序列中的特征事件,并提取特征事件的局部不变特征,然后利用特征事件的空间分布,筛选有效手势的局部不变特征,最后利用词袋模型和支持向量机SVM完成手势识别。其中,三个连续手势的峰值地址事件流序列的累积图像如图3(a)~图3(f)所示,筛选后的有效手势局部不变特征对应的峰值地址事件流序列累积图如图3(a)、图3(c)、图3(e)所示。
为避免训练特征集和测试特征集划分的随机性,将有效手势特征集中所有局部不变特征集按5:1的比例,随机划分5次,得到5组训练特征集和测试特征集。本发明提出的方法以测试特征集中分类正确的手势数量与测试特征集中手势总数的比值作为分类准确率,在这5组实验得到的平均准确率为97.86%,可以看出本发明在识别复杂背景下的手势具有很高的识别率。

Claims (7)

1.一种基于地址事件流特征的手势识别方法,其特征在于,针对动态视觉传感器采集的地址事件流数据,检测峰值地址事件流序列的特征事件,提取当前特征事件的局部尺度不变特征,筛选有效手势的局部不变特征,该方法的具体步骤包括如下:
(1)采集地址事件流数据:
(1a)利用动态视觉传感器,将拍摄同一个人连续做预先设定的不同运动方式含义的手势类型,组成一个手势地址事件流文件;
(1b)将至少15个人的手势地址事件流文件组成手势地址事件流数据库;
(2)划分手势地址事件流数据:
(2a)从手势地址事件流数据库中,读取一个未读过的手势地址事件流文件;
(2b)以10毫秒的时间间隔,将所读的手势地址事件流文件中的手势地址事件流数据划分为多个地址事件流序列;
(3)对每个地址事件流序列进行去噪:
(3a)利用空间密度聚类算法,对每个地址事件流序列进行去噪,得到每个去噪后的地址事件流序列,统计每个去噪后地址事件流序列的事件总数;
(3b)将所有去噪后地址事件流序列的事件总数组成一个地址事件流变化趋势序列;
(4)确认峰值地址事件流序列:
(4a)对地址事件流变化趋势序列进行低通滤波,得到平滑后的地址事件流变化趋势序列;
(4b)依次将平滑后的地址事件流变化趋势序列中的每一个元素与之相邻元素相减,将所得的差值依次组成一阶差分序列,将一阶差分序列中的每一个元素与之相邻元素相减,将所得的差值依次组成二阶差分序列;
(4c)去除一阶差分序列的首元素,若去除首元素后的一阶差分序列中的每一个元素与二阶差分序列中对应位置的每一个元素均为负数,则将该两个元素对应位置序号加2,作为平滑后的地址事件流变化趋势序列趋势向下的转折位置;若所述转折位置在地址事件流变化趋势序列中对应的元素大于等于先验阈值,则将该转折点位置作为候选波峰位置,将候选波峰位置依次组成候选波峰位置序列;
(4d)利用波峰跨度方法,生成真实波峰位置序列;
(4e)将真实波峰位置序列中每一个波峰位置对应的去噪后地址事件流序列,作为峰值地址事件流序列,将峰值地址事件流序列组成峰值地址事件流序列集;
(5)生成激活频率矩阵:
(5a)依次读入峰值地址事件流序列集中的每个峰值地址事件流序列,组成r行k列的地址事件矩阵M1,其中,r表示峰值地址事件流序列的事件总数,k表示每个事件的四个属性;
(5b)生成一个全0的激活频率矩阵M2;
(6)检测峰值地址事件流序列的特征事件:
(6a)从地址事件矩阵M1中按行读入每个地址事件,将地址事件位置属性对应激活频率矩阵M2位置处的元素值加1;
(6b)从激活频率矩阵M2中截取以读入的地址事件为中心的N行N列的激活频率子矩阵M3,作为所读地址事件的局部激活频率矩阵M4,其中N的取值为5、7、9或13中的任意一个奇数值;
(6c)利用哈里斯Harris角点检测算法,计算局部激活频率矩阵M4中所读地址事件的角点响应值,将角点响应值大于角点响应阈值的所读地址事件作为当前特征事件;
(7)提取当前特征事件的局部尺度不变特征:
利用加速稳健特征SURF算法,提取当前激活频率矩阵M2中以当前特征事件为中心的局部尺度不变特征;
(8)判断是否读完地址事件矩阵M1中的所有事件,若是,则将每个峰值地址事件流序列的所有特征事件组成该峰值地址事件流序列的特征事件集,以及将所述特征事件集中所有特征事件的局部不变特征组成该峰值地址事件流序列的局部不变特征集,并执行步骤(9),否则,执行步骤(6);
(9)判断峰值地址事件流序列的读入个数是否大于等于2,若是,则执行步骤(10),否则,执行步骤(5);
(10)筛选有效手势的局部不变特征:
(10a)利用重心计算公式,计算当前峰值地址事件流序列的特征事件集中所有特征事件的重心位置A;
(10b)利用重心计算公式,计算上一个峰值地址事件流序列的特征事件集中所有特征事件的重心位置B;
(10c)若中心位置A的纵坐标与中心位置B的纵坐标之间的差值小于负12,或所述差值的绝对值小于10,则保留该峰值地址事件流序列的局部不变特征集,否则,则丢弃该峰值地址事件流序列的局部不变特征集;
(11)判断是否读完手势地址事件流数据库中所有手势地址事件流文件,若是,将所有峰值地址事件流序列的局部不变特征集组成有效手势特征集,并执行步骤(12),否则,执行步骤(2);
(12)训练支持向量机SVM分类器:
(12a)将有效手势特征集中所有局部不变特征集按5:1的比例,随机划分为训练特征集和测试特征集;
(12b)利用词袋模型BOW方法,将训练特征集中任意一个局部不变特征集简化为一个局部不变特征向量,得到训练特征向量集;
(12c)将训练特征向量集输入到分类器中,对支持向量机SVM分类器进行训练,得到训练好的分类器;
(13)分类:
将测试特征向量集输入到训练好的分类器中,得到最终分类结果。
2.根据权利要求1所述的基于地址事件流特征的手势识别方法,其特征在于,步骤(3a)中所述的空间密度聚类算法是指,采用具有噪声的基于密度的聚类方法DBSCAN、排序识别聚类结构方法OPTICS、基于密度的聚类DENCLUE中的任意一种算法。
3.根据权利要求1所述的基于地址事件流特征的手势识别方法,其特征在于,步骤(4c)中所述的先验阈值是指从500、600、700、800、900和1000中任意选取的一个整数。
4.根据权利要求1所述的基于地址事件流特征的手势识别方法,其特征在于,步骤(4d)中所述的波峰跨度方法的具体步骤如下:
第一步,将候选波峰位置序列的首元素作为第一个真实波峰位置;
第二步,从候选波峰位置序列的第二个候选波峰位置开始的每个候选波峰位置至最近的真实波峰位置组成位置区间,将平滑后的地址事件流变化趋势序列在所述位置区间对应的子序列中最小值的位置作为候选波峰位置最邻近的波谷位置;
第三步,若候选波峰位置与最近的真实波峰位置的距离大于波峰距离阈值,且候选波峰位置与最邻近的波谷位置之间的距离大于波峰波谷距离阈值,则将该候选波峰位置作为真实波峰位置,将真实波峰位置依次组成真实波峰位置序列,其中波峰距离阈值取值为20,波峰波谷距离阈值为12。
5.根据权利要求1所述的基于地址事件流特征的手势识别方法,其特征在于,步骤(5a)中所述每个事件的四个属性是指,该事件在三维空间坐标系对应的横坐标位置,该事件在三维空间坐标系对应的纵坐标位置,该事件发生的时间戳,该事件的极性,其中,极性取值为±1。
6.根据权利要求1所述的基于地址事件流特征的手势识别方法,其特征在于,步骤(6c)中所述角点响应阈值是指从5、6、7和8中选取的任意一个整数。
7.根据权利要求1所述的基于地址事件流特征的手势识别方法,其特征在于,步骤(10a)、步骤(10b)中所述重心计算公式如下:
Figure FDA0002700856500000041
Figure FDA0002700856500000042
其中,x'表示重心位置的横坐标,∑表示求和操作,n表示峰值地址事件流序列的特征事件集中特征事件的总数,i表示峰值地址事件流序列的特征事件集中特征事件的序号,i=1,2,…,n,xi表示峰值地址事件流序列的特征事件集中第i个特征事件在三维空间坐标系对应的横坐标位置,y'表示重心位置的纵坐标,yi表示峰值地址事件流序列的特征事件集中第i个特征事件在三维空间坐标系对应的纵坐标位置。
CN201910043621.0A 2019-01-17 2019-01-17 基于地址事件流特征的手势识别方法 Active CN109815876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910043621.0A CN109815876B (zh) 2019-01-17 2019-01-17 基于地址事件流特征的手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910043621.0A CN109815876B (zh) 2019-01-17 2019-01-17 基于地址事件流特征的手势识别方法

Publications (2)

Publication Number Publication Date
CN109815876A CN109815876A (zh) 2019-05-28
CN109815876B true CN109815876B (zh) 2021-01-05

Family

ID=66603454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910043621.0A Active CN109815876B (zh) 2019-01-17 2019-01-17 基于地址事件流特征的手势识别方法

Country Status (1)

Country Link
CN (1) CN109815876B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428397A (zh) * 2019-06-24 2019-11-08 武汉大学 一种基于事件帧的角点检测方法
CN111031266B (zh) * 2019-12-31 2021-11-23 中国人民解放军国防科技大学 基于哈希函数的动态视觉传感器背景活动噪声过滤方法、系统及介质
CN112184572B (zh) * 2020-09-14 2023-03-28 中山大学 一种针对动态视觉传感器事件流的新型去雨方法及系统
CN112308087B (zh) * 2020-11-03 2023-04-07 西安电子科技大学 基于动态视觉传感器的一体化成像识别方法
CN112949512B (zh) * 2021-03-08 2022-07-08 豪威芯仑传感器(上海)有限公司 一种动态手势识别方法、手势交互方法及交互系统
CN113923319B (zh) * 2021-12-14 2022-03-08 成都时识科技有限公司 降噪装置、方法、芯片、事件成像装置及电子设备
CN114078100A (zh) * 2021-11-25 2022-02-22 成都时识科技有限公司 聚类降噪装置、方法、芯片、事件成像装置及电子设备
CN115150159B (zh) * 2022-06-30 2023-11-10 深信服科技股份有限公司 一种流量检测方法、装置、设备及可读存储介质
CN117191047B (zh) * 2023-11-03 2024-02-23 南京信息工程大学 弱光环境下无人机自适应主动视觉导航方法、装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9697418B2 (en) * 2012-07-09 2017-07-04 Qualcomm Incorporated Unsupervised movement detection and gesture recognition
US9846677B2 (en) * 2014-09-16 2017-12-19 Qualcomm Incorporated Event-based spatial transformation
KR102530219B1 (ko) * 2015-10-30 2023-05-09 삼성전자주식회사 동작 인식의 오류를 검출하는 방법 및 장치
CN106446937A (zh) * 2016-09-08 2017-02-22 天津大学 用于aer图像传感器的多层卷积识别系统
CN107610069B (zh) * 2017-09-29 2020-10-09 西安电子科技大学 基于共享k-svd字典的dvs可视化视频去噪方法
CN107844759A (zh) * 2017-10-24 2018-03-27 努比亚技术有限公司 一种手势识别方法、终端及存储介质
CN107808143B (zh) * 2017-11-10 2021-06-01 西安电子科技大学 基于计算机视觉的动态手势识别方法

Also Published As

Publication number Publication date
CN109815876A (zh) 2019-05-28

Similar Documents

Publication Publication Date Title
CN109815876B (zh) 基于地址事件流特征的手势识别方法
Liu et al. Skepxels: Spatio-temporal image representation of human skeleton joints for action recognition.
Yang et al. Developing the path signature methodology and its application to landmark-based human action recognition
CN111444828B (zh) 一种模型训练的方法、目标检测的方法、装置及存储介质
Murtaza et al. Multi‐view human action recognition using 2D motion templates based on MHIs and their HOG description
Harouni et al. Online Persian/Arabic script classification without contextual information
Wang et al. Event-stream representation for human gaits identification using deep neural networks
Gowda Human activity recognition using combinatorial deep belief networks
CN109871780B (zh) 一种人脸质量判决方法、系统及人脸识别方法、系统
Li et al. LPSNet: a novel log path signature feature based hand gesture recognition framework
KR20230107415A (ko) 이미지 내 객체를 식별하기 위한 방법 및 상기 방법을실행하기 위한 모바일 디바이스
CN108805140B (zh) 一种基于lbp的特征快速提取方法及人脸识别系统
CN109948457B (zh) 基于卷积神经网络和cuda加速的实时目标识别方法
CN110163111A (zh) 基于人脸识别的叫号方法、装置、电子设备及存储介质
Ahmad et al. Inertial sensor data to image encoding for human action recognition
Mahmood et al. A Comparative study of a new hand recognition model based on line of features and other techniques
Sun et al. Brushstroke based sparse hybrid convolutional neural networks for author classification of Chinese ink-wash paintings
CN111860056B (zh) 基于眨眼的活体检测方法、装置、可读存储介质及设备
Wang et al. Research on face recognition algorithm based on deep learning
Naik et al. Development of an Automated Hand Gesture Software to Control Volume for Computer
Cambuim et al. An efficient static gesture recognizer embedded system based on ELM pattern recognition algorithm
Chua et al. Visual IoT: ultra-low-power processing architectures and implications
CN108564020B (zh) 基于全景3d图像的微手势识别方法
Agab et al. New combined DT-CWT and HOG descriptor for static and dynamic hand gesture recognition
Sikkandar Design a contactless authentication system using hand gestures technique in COVID-19 panic situation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant