CN111813223A - 一种基于高分辨雷达信号的手势自动分割识别方法 - Google Patents

一种基于高分辨雷达信号的手势自动分割识别方法 Download PDF

Info

Publication number
CN111813223A
CN111813223A CN202010655786.6A CN202010655786A CN111813223A CN 111813223 A CN111813223 A CN 111813223A CN 202010655786 A CN202010655786 A CN 202010655786A CN 111813223 A CN111813223 A CN 111813223A
Authority
CN
China
Prior art keywords
gesture
data
curve
distance
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010655786.6A
Other languages
English (en)
Other versions
CN111813223B (zh
Inventor
曹宗杰
王星
崔宗勇
闵锐
李晋
皮亦鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010655786.6A priority Critical patent/CN111813223B/zh
Publication of CN111813223A publication Critical patent/CN111813223A/zh
Application granted granted Critical
Publication of CN111813223B publication Critical patent/CN111813223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明属于雷达和人机交互技术领域，具体涉及一种基于高分辨雷达信号的手势自动分割识别方法。本发明的方法利用采集的手势雷达回波数据进行快速傅里叶变换获得距离矩阵；通过自适应方差阈值获得运动手势时间距离曲线的上下边界索引曲线；对上下边界索引曲线进行滑动平均和寻找极值点，实现手势的自动分割；对分割手势进行特征提取，采用支持向量机分类器进行训练，获取手势分类输出结果。本发明在较低的计算处理复杂度上面实现手势数据的自动分割与识别，自适应地提取运动手势的时间距离曲线和对应手势的统计特征，从而能够应用于构建手势识别的端到端系统。

Description

一种基于高分辨雷达信号的手势自动分割识别方法
技术领域
本发明属于雷达和人机交互技术领域，具体涉及一种基于高分辨雷达信号的手势自动分割识别方法。
背景技术
在人机交互领域当中，通过非接触式的空中运动手势来实现人与机器之间指令的传达和应用的控制，而无需借助传统的键盘、鼠标等额外的硬件辅助设备，引发了国内外广泛的研究和关注。这项技术为用户提供了一种更加自然、方便的交互方式，能够广泛地运用在虚拟现实、工业控制、自动驾驶、游戏操作和辅助医疗等应用场合，具有极大的应用前景。
对比目前基于光学传感器和数据手套等手势识别方案，基于雷达的识别方案具有诸多的优点：对环境的变化不敏感，能够应用在光线昏暗等场合；通过直接捕捉视野内的运动手势，降低了计算处理的复杂度；通过内置于电子设备的天线和芯片，不用穿戴额外辅助设备进行控制，带来高度的灵活性和舒适度等。同时，基于高分辨雷达所带来的高分辨率特性，使得能够从回波信号当中捕捉到手势运动过程中微小的手指和肌肉运动变化，对手势的整个运动给出精确的描述，增加了手势识别的准确度。
针对目前的雷达手势识别方法，如何从雷达获得的数据流中精确地分割出一个完整的手势周期数据是有必要的，这将在雷达信号中给运动手势一个完整的描述，从而提高手势分类的准确度。同时，考虑到高分辨雷达手势识别的实时性，需要考虑整个端到端系统带来的串行数据流处理的计算复杂度问题。
发明内容
针对上述问题，本发明提出了一种基于高分辨雷达信号的手势自动分割识别方法，能够以较低的计算复杂度实现连续手势运动过程中一个完整手势周期的自动分割，从而进行分类器的训练和手势应用的识别输出。
本发明采取的技术方案如图1所述，具体流程为：
步骤1、利用高分辨雷达采集多组不同运动手势的雷达回波数据；每组数据包含一类手势的多个完整运动周期，并且每组采集的周期手势数量相等，即每组数据中包含的每类手势的数量相同。
步骤2、对步骤1采集的每组连续回波所构成的数据矩阵
Figure BDA0002576710160000021
沿快时间维度做快速傅里叶变换获得距离矩阵
Figure BDA0002576710160000022
获取运动手势随时间变化的距离曲线。其中m表示一个雷达回波的采样点数，n表示一组采集数据的回波数，r表示快速傅里叶变换的点数。
步骤3、通过对距离矩阵D的每列数据进行分段方差统计，自适应计算阈值λ，获取该时刻手在雷达径向距离上多个散射点所对应距离矩阵D上列索引的范围(Iu,Id)。
此过程中，将距离矩阵D＝[d1,d2,…,dn]的每列数据分成N段，计算每段的方差δi，则自适应方差阈值定义为：
λ＝(δmax-δmin)/4
其中，i＝1,2,…,N，δmax和δmin分别为N个方差里面的最大值和最小值。因此，将满足δi≤λ的第i分段数据置零。同时寻找该列数据当中正向第一个不为零位置对应的列索引Iu和反向第一个不为零位置对应的列索引Id。
步骤4、分别对每列获取的上下索引所构成的时间序列进行滑动平均，拟合手势运动时间距离曲线的上下边界。如图2所示，为一种手势运动时间曲线的边界拟合图。
步骤5、对拟合的下边界曲线寻找极值点，相邻极值点之间的数据就为一个周期手势所构成的雷达回波数据，从而实现手势的自动分割。
步骤6、对分割手势提取如下特征：手势径向运动距离、手势平均运动速度、手势曲线面积和手势曲线宽度方差。
步骤7、对所提取的不同手势特征样本随机地划分成训练集和测试集，采用支持向量机分类器对训练集进行模型训练，用测试集进行模型的验证，获取训练好的模型，实现对手势的分类识别。
本发明的技术方案，利用采集的手势雷达回波数据进行快速傅里叶变换获得距离矩阵；通过自适应方差阈值获得运动手势时间距离曲线的上下边界索引曲线；对上下边界索引曲线进行滑动平均和寻找极值点，实现手势的自动分割；对分割手势进行特征提取，采用支持向量机分类器进行训练，获取手势分类输出结果。
本发明的有益效果为，本发明在较低的计算处理复杂度上面实现手势数据的自动分割与识别，自适应地提取运动手势的时间距离曲线和对应手势的统计特征，从而能够应用于构建手势识别的端到端系统。
附图说明
图1为本发明的流程框图；
图2为一种手势运动时间曲线的边界拟合图。
具体实施方式
下面结合附图和实施例说明本发明的实用性。
实施例
本例使用340GHz频段的高分辨雷达作为手势传感器，分别采集食指上下点击、四指前后弯曲、五指前后抓取3类手势。由于一类手势的不同方向代表不同的操作意图，因此将一类手势的不同方向定义为2种不同手势。所以本实施实例共采集了3类6种不同手势，依次将手势类别定义为：类别1、类别2、类别3、类别4、类别5和类别6。
该高分辨雷达系统总体参数如表1所示，同时设定一个雷达回波的采样点数为m＝512，快速傅里叶变换点数为r＝512点。对一个连续运动手势产生的距离矩阵来说，每列数据长度为512，将该列数据分成N＝8段，按照步骤依次计算自适应方差阈值λ、列索引范围(Iu,Id)。将每列获取的上下索引所构成的时间序列进行窗长度为256的滑动平均，拟合手势运动时间距离曲线的上下边界。对于获取的上下边界索引曲线，通过寻找下边界索引曲线的极值点来实现相邻手势的分割。对于一个完整周期手势分割数据，提取了4类统计特征：手势径向运动距离，即下索引曲线最大值与最小值的差；手势平均运动速度，即手势径向运动距离除以手势运动时间；手势曲线面积，即数据矩阵慢时间维度上手势曲线宽度之和；手势曲线宽度方差，即数据矩阵慢时间维度上手势曲线宽度序列的方差。
表1雷达系统参数
Figure BDA0002576710160000031
该实施例当中，总共采集6种手势的特征样本数量为834个，将数据随机分成训练集和测试集，训练集与测试集样本数量之比为4:1。表2为6种手势分别在训练集和测试集上面采用SVM分类器得到的手势分类准确率。
表2六种手势识别准确率
Figure BDA0002576710160000041
从测试结果看出，本发明能够在所提取的4类运动手势特征样本中对不同手势进行分类识别。

Claims (1)

1.一种基于高分辨雷达信号的手势自动分割识别方法，其特征在于，包括以下步骤：
S1、利用高分辨雷达采集多组不同运动手势的雷达回波数据构成数据矩阵
Figure FDA0002576710150000011
其中m表示一个雷达回波的采样点数，n表示一组采集数据的回波数；
S2、对W沿快时间维度做快速傅里叶变换，获得距离矩阵
Figure FDA0002576710150000012
同时获取运动手势随时间变化的距离曲线，其中r表示快速傅里叶变换的点数；
S3、通过对距离矩阵D的每列数据进行分段方差统计，自适应计算阈值λ，获取该时刻手在雷达径向距离上多个散射点所对应距离矩阵D上列索引的范围(Iu,Id)，具体为：
将距离矩阵D＝[d1,d2,…,dn]的每列数据分成N段，计算每段的方差δi，自适应方差阈值定义为：
λ＝(δmax-δmin)/4
其中，i＝1,2,…,N，δmax和δmin分别为N个方差里面的最大值和最小值，将满足δi≤λ的第i分段数据置零，同时寻找该列数据当中正向第一个不为零位置对应的列索引Iu和反向第一个不为零位置对应的列索引Id；
S4、分别对每列数据获取的索引(Iu,Id)所构成的时间序列进行滑动平均，根据步骤S2获取的距离曲线，拟合手势运动时间距离曲线的上下边界；
S5、对拟合的下边界曲线寻找极值点，令相邻极值点之间的数据为一个周期手势所构成的雷达回波数据，从而实现手势的自动分割；
S6、对分割的手势提取如下特征：手势径向运动距离、手势平均运动速度、手势曲线面积和手势曲线宽度方差；
S7、将所提取的手势特征样本随机地划分成训练集和测试集，采用支持向量机分类器对训练集进行模型训练，用测试集进行模型的验证，获得训练好的模型，从而实现对手势的分类识别。
CN202010655786.6A 2020-07-09 2020-07-09 一种基于高分辨雷达信号的手势自动分割识别方法 Active CN111813223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010655786.6A CN111813223B (zh) 2020-07-09 2020-07-09 一种基于高分辨雷达信号的手势自动分割识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010655786.6A CN111813223B (zh) 2020-07-09 2020-07-09 一种基于高分辨雷达信号的手势自动分割识别方法

Publications (2)

Publication Number Publication Date
CN111813223A true CN111813223A (zh) 2020-10-23
CN111813223B CN111813223B (zh) 2022-04-22

Family

ID=72843255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010655786.6A Active CN111813223B (zh) 2020-07-09 2020-07-09 一种基于高分辨雷达信号的手势自动分割识别方法

Country Status (1)

Country Link
CN (1) CN111813223B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160042315A1 (en) * 2013-03-14 2016-02-11 Nordstrom, Inc. System and methods for order fulfillment, inventory management, and providing personalized services to customers
CN107024685A (zh) * 2017-04-10 2017-08-08 北京航空航天大学 一种基于距离‑速度特征的手势识别方法
KR102021531B1 (ko) * 2019-03-28 2019-11-04 세종대학교 산학협력단 연속파 레이더를 이용한 미세 손 동작 인식 장치 및 그 방법
CN110647803A (zh) * 2019-08-09 2020-01-03 深圳大学 一种手势识别方法、系统以及存储介质
CN110658516A (zh) * 2019-10-14 2020-01-07 重庆邮电大学 一种基于fmcw雷达方差频数统计的手势目标提取方法
CN111157988A (zh) * 2020-02-27 2020-05-15 中南大学 一种基于rdtm与atm融合的手势雷达信号处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160042315A1 (en) * 2013-03-14 2016-02-11 Nordstrom, Inc. System and methods for order fulfillment, inventory management, and providing personalized services to customers
CN107024685A (zh) * 2017-04-10 2017-08-08 北京航空航天大学 一种基于距离‑速度特征的手势识别方法
KR102021531B1 (ko) * 2019-03-28 2019-11-04 세종대학교 산학협력단 연속파 레이더를 이용한 미세 손 동작 인식 장치 및 그 방법
CN110647803A (zh) * 2019-08-09 2020-01-03 深圳大学 一种手势识别方法、系统以及存储介质
CN110658516A (zh) * 2019-10-14 2020-01-07 重庆邮电大学 一种基于fmcw雷达方差频数统计的手势目标提取方法
CN111157988A (zh) * 2020-02-27 2020-05-15 中南大学 一种基于rdtm与atm融合的手势雷达信号处理方法

Also Published As

Publication number Publication date
CN111813223B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
Ibraheem et al. Survey on various gesture recognition technologies and techniques
Lee et al. Kinect-based Taiwanese sign-language recognition system
Gillian et al. Recognition Of Multivariate Temporal Musical Gestures Using N-Dimensional Dynamic Time Warping.
Mekala et al. Real-time sign language recognition based on neural network architecture
CN102063618B (zh) 互动系统中的动态手势识别方法
CN111813224B (zh) 一种基于超高分辨率雷达精细手势库的建立与识别方法
CN111813222B (zh) 一种基于太赫兹雷达的精细动态手势识别方法
CN107909042B (zh) 一种连续手势切分识别方法
CN107103326A (zh) 基于超像素聚类的协同显著性检测方法
CN110472506B (zh) 一种基于支持向量机和神经网络优化的手势识别方法
CN103353935A (zh) 一种用于智能家居系统的3d动态手势识别方法
EP2802975A1 (en) Intelligent touchscreen keyboard with finger differentiation
WO2006044815A1 (en) Finger sensing device for navigation and related methods
CN105975934A (zh) 一种用于增强现实辅助维修的动态手势识别方法及系统
CN104573621A (zh) 基于Chebyshev神经网络的动态手势学习和识别方法
CN102508547A (zh) 基于计算机视觉的手势输入法构建方法及系统
Caputo et al. Shrec 2019 track: online gesture recognition
CN106502390B (zh) 一种基于动态3d手写数字识别的虚拟人交互系统及方法
WO2008139399A2 (en) Method of determining motion-related features and method of performing motion classification
CN110717154A (zh) 运动轨迹的特征处理方法、设备以及计算机存储介质
Kalsh et al. Sign language recognition system
CN107346207B (zh) 一种基于隐马尔科夫模型的动态手势切分识别方法
CN108108015A (zh) 一种基于手机陀螺仪和动态时间规整的动作手势识别方法
CN114792443A (zh) 一种基于图像识别的智能设备手势识别控制方法
CN109801310A (zh) 一种方位和尺度判别深度网络的目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant