CN103020656B - 一种压缩红外感知实现的手势识别装置及识别方法 - Google Patents

一种压缩红外感知实现的手势识别装置及识别方法 Download PDF

Info

Publication number
CN103020656B
CN103020656B CN201210553966.9A CN201210553966A CN103020656B CN 103020656 B CN103020656 B CN 103020656B CN 201210553966 A CN201210553966 A CN 201210553966A CN 103020656 B CN103020656 B CN 103020656B
Authority
CN
China
Prior art keywords
gesture
infrared sensor
pyroelectric infrared
visual field
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210553966.9A
Other languages
English (en)
Other versions
CN103020656A (zh
Inventor
王国利
刘佟
郭雪梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201210553966.9A priority Critical patent/CN103020656B/zh
Publication of CN103020656A publication Critical patent/CN103020656A/zh
Application granted granted Critical
Publication of CN103020656B publication Critical patent/CN103020656B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

本发明公开一种压缩红外感知实现的手势识别装置及识别方法,手势识别装置用热释电红外传感器阵列,采用随机编码方式对装在热释电传感器前的菲涅尔透镜组中的子视场进行可见性调制,将手势运动产生的高维红外辐射状态随机压缩投影到低维热释电红外传感阵列测量空间,实现手势运动特征的获取。手势识别的方法采用矢量量化为每个具有特殊动作的语义运动特征序列做特征参数估计,通过训练数据为每个特征序列分配一个码本作为语义表达模板,由分类器对测试数据表示语义进行决策,实现手势行为的识别。通过压缩红外感知,有效避免手势运动特征获取对冗余和无效信息的产生和处理过程,显著降低传感系统的复杂度和硬件成本,支持轻量手势识别算法的实现。

Description

一种压缩红外感知实现的手势识别装置及识别方法
技术领域
本发明属于分析及测量控制技术中的G01D非专属于特定设备的测量领域,特别涉及一种压缩红外感知实现的手势识别装置及识别方法。
背景技术
奈奎斯特采样规则支配的视觉传感技术已成为手势行为感知最为广泛使用的手段,包括CCD 和CMOS等光学成像技术。依托视觉传感技术,实现手势行为识别的视觉信息处理过程一般包括:首先获得场景的影像数据,然后提取兴趣运动的区域并进行跟踪,进而基于运动特性对空间信息进行编码,通过对既包含空间又包含时间域的高维数据进行分类处理,识别出手势的语义。然而,随着上述视觉信息处理过程所依赖的视觉传感技术物理结构越来越复杂,能耗和数据采集规模将越来越大,所利用的机器视觉算法越来越复杂,对存储和通信的带宽要求越来越高。例如,需要从视频序列中鲁棒地提取出运动目标,并对其运动方式和运动轨迹进行建模;还需要把运动特性编码成包含时间域的高维空间数据。这些因素都对能耗、计算和通信等网络资源提出了过度要求,将是分布式泛在网络化实现模式难以承载的。换言之,乃奎斯特采样规则支配的视觉感知模式对网络资源的过度需求,已成为分布式泛在网络化实现手势行为感知难以克服的技术瓶颈。
与乃奎斯特采样规则支配的传感模式相比,压缩传感理论支配的感知模式将采样和压缩统一于数据采集过程,不仅可以突破奈奎斯特采样频率的限制,更重要的是可以提供一种信息获取和信息处理集成的传感模式,能有效避免无效或冗余信息的产生和处理过程,有助于降低传感系统的复杂度和硬件成本,易于形成轻量的感知算法。最新针对辐射场采样任务提出的非同构空间变换采样模型提供了一种探索新型压缩传感模式的手段,其中传感映射描述的空间变换是由传感器视场调制组合形成的采样空间视野可见模式确定的,视场可见性调制策略是系统设计的核心内容,设计的目标在于能够利用远远低于奈奎斯特采样规模的投影测量数据保持辐射场目标状态稀疏结构特征。热释电红外传感器是探测人体运动产生红外光辐射变化的被动式传感手段,与菲涅耳透镜调制视场的机制相结合,能形成压缩传感支配的非同构空间变换机制,不仅能克服同构光学视觉传感技术遇到的环境混杂和光照变化等棘手难题,所具有的低成本和低功耗特性更适合分布式泛在网络化的实现方式,在红外运动行为感知应用中有着其他传感技术无法替代的优势。
矢量量化是手势语义识别普遍采用的方法。码字搜索是矢量量化过程最基本的环节,其目的在于找到与量化数据最匹配的码矢。矢量量化器的设计任务可归结为码书的设计问题, 在给定码书大小的前提下, 码书设计算法通过最佳划分和最佳码书设计两个过程得到矢量量化器。LBG算法是由Y.Linde, A.Buzo与 R.M.Gray在1980年提出的码书设计算法,基本思想是:对于一个训练序列, 先找出其中心, 再用分裂法产生一个初始码书,最后把训练序列按码书中的元素分组, 找出每组的中心, 得到新的码书, 转而把新码书作为初始码书重复上述过程, 直到满足停机条件为止。该算法因其理论的严密性、实施过程的简便灵活性以及设计性能的实效性而得到广泛应用。
发明内容
本发明提出一种压缩红外感知实现的手势识别装置及识别方法,该识别装置具有结构简单、成本低、功耗低、配置灵活等优点,支持在低维感知数据空间对手势运动特征编码,与矢量量化技术结合,适合形成轻量的手势识别方法。
本发明的技术方案具体为:
一种压缩红外感知实现的手势识别装置,包括用于获取手势运动特征数据的热释电红外传感器阵列和用于对热释电红外传感器阵列中各个热释电红外传感器进行掩模处理的菲涅尔透镜组,所述每个热释电红外传感器前安装一个菲涅尔透镜组。
更进一步的,所述菲涅尔透镜组由N 个子透镜构成,形成的热释电红外传感器视场由N 个子透镜的子视场组成。
选择视场与手势运动感知空间相匹配的菲涅耳透镜组,将菲涅尔透镜组中子透镜的子视场作为手势运动热辐射空间的采样胞元,所有N个采样胞元构成手势运动的热辐射状态空间。
更进一步的,所述菲涅尔透镜组采用随机编码的掩模调制热释电红外传感器的N个子视场的可见性。
利用掩膜调制菲涅尔透镜组中每个子透镜的子视场,使它只能感应到设定可见的子视场内热辐射的变化,即对应掩模开放可见的子视场被感应,对应掩模遮挡不可见的子视场则感应不到热辐射的变化,其中掩模对子透镜子视场的可见性由伪随机序列生成。
更进一步的,所述热释电红外传感器阵列中有M个热释电红外传感器,视场覆盖同一由N 个子视场组成的辐射场状态空间;热释电红外传感器阵列由M个热释电红外传感器构成,视场覆盖同一由N 个采样胞元组成的热辐射状态空间。
其中热释电传感器测量的规模M 小于手势运动的热辐射状态空间的维数N。
热释电红外传感器阵列中的每个热释电传感器输出可以看作是N维热辐射状态空间的一次随机投影测量。依据压缩传感理论知道,热释电红外传感器阵列产生的随机投影测量规模M在远小于热辐射状态空间维数N的情形下,仍可保持手势运动产生热辐射状态的稀疏结构特征。因此,热释电传感器阵列的测量过程可以看作是压缩红外感知实现的手势运动特征的获取。
一种应用于压缩红外感知实现的手势识别装置的识别方法,包含以下步骤:
S1.通过测量热释电红外传感器阵列的输出获取手势的运动特征数据;
S2.采用矢量量化方法对获取的手势运动特征数据进行编码;
S3.利用编码后的运动特征训练数据建立手势识别的分类器;
S4.利用分类器对编码后的运动特征测试数据进行决策,决定其表示的语义。
所述步骤S1的运动特征获取方式为:热释电红外传感器对应可见的采样胞元中有热辐射变化发生时将其测量输出编码为1,没有热辐射变化时将其测量输出编码为0,由此获得M维运动特征数据,其中通过为热释电红外传感器测量输出设定阈值,判断是否发生热辐射变化,即当测量输出高于阈值,则判定有可见的采样胞元发生了热辐射变化,否则判定所有可见的采样胞没有热辐射变化发生。
所述步骤S3中的建立分类器的方式为:利用每一类有特殊语义的手势运动训练数据估计其运动特征参数,并为之分配一个矢量量化码本作为其语义表达的模板。
所述步骤S4中的分类器的决策方式为:对编码后的手势运动特征测试数据,用所有的注册码书进行重建运算,做一对多的匹配,找出与之匹配的码书,从而识别出其语义。
与现有技术相比,本发明的技术方案具有如下优点:
采用了压缩红外传感的实现模式,本质上是一种非同构空间变换采样模型,从压缩传感的角度,将信息获取和特征提取过程统一于数据采集过程,能有效避免无效或冗余信息的产生和处理过程,允许利用远远低于手势运动产生的热辐射状态空间维数的热释电红外传感器投影测量数据获得手势运动的特征,不仅能克服同构光学视觉传感技术遇到的环境混杂和光照变化等棘手难题,所具有的低成本和低功耗特性更适合分布式泛在网络化的实现方式,在手势行为识别的应用中有着其他传感技术无法替代的优势。
附图说明
图1为本发明识别装置的结构示意图。
图2为由19个子透镜构成的菲涅尔透镜组的子视场分布图。
图3为由16个传感器模块组成的热释电传感器系统实物图。
图4为平均正确识别率分析图。
具体实施方式
下面结合附图对本发明做进一步的描述,但本发明的实施方式并不限于此。
实施例一
图1中标号为:1-热释电红外传感器 、2-菲涅尔透镜组。
如图1,压缩红外感知实现的手势识别装置包括用于获取手势运动特征数据的热释电红外传感器1阵列和经由掩模调制视场的菲涅尔透镜组2,每个热释电红外传感器1前端安装一个菲涅尔透镜组2。
在本实施例中,热释电红外传感器1采用是商用D205B热释红外电传感器,这种传感器对于8-14μm波长范围的热辐射反应灵敏,而人体热释红外辐射波长(37℃或98℉时)的典型值为9.55μm,处于它的敏感感应范围,所具有的双极性设置使它只能被变化的热辐射所激发,因此适用于人体运动的感知。
本实施例中的识别装置采用的菲涅尔透镜组由19个子透镜构成,将子透镜对应的子视场作为手势运动的热辐射场采样胞元,形成19维的热辐射状态空间。利用掩膜调制菲涅尔透镜组中每个子透镜的子视场,采用二值伪随机数的产生方式确定每个子视场的可见性,‘1’对应掩模开放可见的子视场,‘0’对应掩模遮挡不可见的子视场。如图3所示黑色区域是掩模的遮挡部分,白色区域是掩模的开放部分。本识别装置共使用了16个热释电红外传感器,高于设定阈值的传感器输出测量值编码为1,低于设定阈值的传感器输出测量值编码为0,由此获得16维的运动特征数据。与图3对应的从热辐射状态空间到热释电红外传感阵列测量空间的压缩投影映射矩阵表示为:

如图1所示,16个热释电红外传感器组成传感器系统,它布置在被测试人体前方一米的位置,有效感知的范围是人体前方上肢运动的空间。当手势运动发生在传感器感应区域时,产生的热辐射变化将激发对应采样胞元可见的传感器,从而测得手势运动特征,形成随时间变化的时序数据。
在本实施例中,采用LBG算法通过手势运动特征训练数据设计码书,再利用码书搜索的方式对手势运动特征测试数据进行矢量量化,最终寻找最匹配码书,确定出对应的手势动作语义。特别地,在利用手势运动特征训练数据设计码书的分裂迭代过程中,需要给定一个失真度误差,当判定平均方差失真度小于设定误差范围时,完成训练过程,得到最后的语义特征模板码书,并进行注册。在对手势动作特征测试数据进行决策过程中,需要对所有的注册码书进行重建运算,做一对多的匹配,找出与之匹配的码书,从而识别出对应的手势动作语义。
图4给出了通过实验结果获得的压缩测量次数与平均正确识别率之间的关系,以及识别率与码书容量之间的关系。其中对于固定的压缩测量次数,平均识别率是从随机从16个测量之中抽取一个采样值,重复计算10次得到的。从图中所示的结果不难看出,随着测量次数的增加,平均识别率也随之增加,而码书在测量次数少的情况下具有比容量小的码书更高的识别率,反之测量次数多时,小容量的码书能获得更高的识别率。
实施例二
一种应用于压缩红外感知实现的手势识别装置的识别方法,包含以下步骤:
S1.通过测量热释电红外传感器阵列的输出获取手势的运动特征数据;
S2.采用矢量量化方法对获取的手势运动特征数据进行编码;
S3.利用编码后的运动特征训练数据建立手势识别的分类器;
S4.利用分类器对编码后的运动特征测试数据进行决策,决定其表示的语义。
其中步骤S1的运动特征获取方式为:热释电红外传感器对应可见的采样胞元中有热辐射变化发生时将其测量输出编码为1,没有热辐射变化时将其测量输出编码为0,由此获得M维运动特征数据,其中通过为热释电红外传感器测量输出设定阈值,判断是否发生热辐射变化,即当测量输出高于阈值,则判定有可见的采样胞元发生了热辐射变化,否则判定所有可见的采样胞没有热辐射变化发生。
其中步骤S3中的建立分类器的方式为:利用每一类有特殊语义的手势运动训练数据估计其运动特征参数,并为之分配一个矢量量化码本作为其语义表达的模板。
其中步骤S4中的分类器的决策方式为:对编码后的手势运动特征测试数据,用所有的注册码书进行重建运算,做一对多的匹配,找出与之匹配的码书,从而识别出其语义。
以上所述的本发明的实施方式,并不构成对本发明保护范围的限定。任何在本发明的精神原则之内所作出的修改、等同替换和改进等,均应包含在本发明的权利要求保护范围之内。

Claims (6)

1.一种压缩红外感知实现的手势识别装置,其特征在于,包括用于获取手势运动特征数据的热释电红外传感器阵列和用于调制热释电红外传感器视场的经由掩模处理的菲涅尔透镜组,所述每个热释电红外传感器前安装一个菲涅尔透镜组;
所述菲涅尔透镜组由N 个子透镜构成,形成的热释电红外传感器视场由N 个子透镜的子视场组成;所述菲涅尔透镜组采用随机编码的掩模调制热释电红外传感器的N 个子视场的可见性。
2.根据权利要求1所述的压缩红外感知实现的手势识别装置,其特征在于,所述热释电红外传感器阵列中有M个热释电红外传感器,视场覆盖同一由N 个子视场组成的辐射场状态空间。
3.根据权利要求2所述的压缩红外感知实现的手势识别装置,其特征在于,所述热释电红外传感器阵列中热释电红外传感器的数目M小于辐射场状态空间的维数N。
4.一种应用于权利要求1至3任一项所述的手势识别装置的手势识别方法,其特征在于,包含以下步骤:
S1.通过测量热释电红外传感器阵列的输出获取手势的运动特征数据;
S2.采用矢量量化方法对获取的手势运动特征数据进行编码;
S3.利用编码后的运动特征训练数据建立手势识别的分类器;
S4.利用分类器对编码后的运动特征测试数据进行决策,决定其表示的语义;
其中,步骤S1中的运动特征的获取方式为:热释电红外传感器对应可见的采样胞元中有热辐射变化发生时将其测量输出编码为1,没有热辐射变化时将其测量输出编码为0,由此获得M个热释电红外传感器输出的M维运动特征数据,其中通过为热释电红外传感器测量输出设定阈值,判断是否发生热辐射变化,即当测量输出高于阈值,则判定有可见的采样胞元发生了热辐射变化,否则判定所有可见的采样胞没有热辐射变化发生。
5.根据权利要求4所述的手势识别方法,其特征在于所述步骤S3中的建立分类器的方式为:利用每一类有特殊语义的手势运动训练数据估计其运动特征参数,并为之分配一个矢量量化码本作为其语义表达的模板。
6.根据权利要求4所述的手势识别方法,其特征在于所述步骤S4中的分类器的决策方式为:对编码后的手势运动特征测试数据,用所有的注册码书进行重建运算,做一对多的匹配,找出与之匹配的码书,从而识别出其语义。
CN201210553966.9A 2012-12-19 2012-12-19 一种压缩红外感知实现的手势识别装置及识别方法 Expired - Fee Related CN103020656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210553966.9A CN103020656B (zh) 2012-12-19 2012-12-19 一种压缩红外感知实现的手势识别装置及识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210553966.9A CN103020656B (zh) 2012-12-19 2012-12-19 一种压缩红外感知实现的手势识别装置及识别方法

Publications (2)

Publication Number Publication Date
CN103020656A CN103020656A (zh) 2013-04-03
CN103020656B true CN103020656B (zh) 2016-09-14

Family

ID=47969246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210553966.9A Expired - Fee Related CN103020656B (zh) 2012-12-19 2012-12-19 一种压缩红外感知实现的手势识别装置及识别方法

Country Status (1)

Country Link
CN (1) CN103020656B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530613B (zh) * 2013-10-15 2017-02-01 易视腾科技股份有限公司 一种基于单目视频序列的目标人手势交互方法
CN104095639B (zh) * 2014-08-04 2016-07-06 深圳超多维光电子有限公司 热释电红外传感器阵列的运动检测方法及运动检测系统
CN104156610B (zh) * 2014-08-20 2017-06-20 天津大学 编码掩模光学成像系统的掩模评价方法及掩模结构码型
CN107543612A (zh) * 2016-06-26 2018-01-05 周尧 一种智能手势识别装置
CN107578425A (zh) * 2016-06-26 2018-01-12 周尧 基于压缩红外感知的运动目标识别实现方法
DE102016225648A1 (de) * 2016-12-20 2018-06-21 Bundesdruckerei Gmbh Verfahren und System zur verhaltensbasierten Authentifizierung eines Nutzers
CN107025442B (zh) * 2017-03-31 2020-05-01 北京大学深圳研究生院 一种基于颜色和深度信息的多模态融合手势识别方法
WO2019069581A1 (ja) 2017-10-02 2019-04-11 ソニー株式会社 画像処理装置及び画像処理方法
CN110749937B (zh) * 2019-11-07 2024-04-19 成都工业学院 一种探测范围增强的红外探测器
CN112232268B (zh) * 2020-10-29 2023-10-20 中山大学 一种结合深度学习和对抗特征解耦的跨域动作识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1385676A (zh) * 2001-05-16 2002-12-18 中国科学院光电技术研究所 一种波前传感器
CN101324662A (zh) * 2008-07-21 2008-12-17 中山大学 面向无线传感器网络的人体红外定位装置及方法
CN101504546A (zh) * 2008-12-12 2009-08-12 北京科技大学 一种儿童机器人的体位跟踪装置
CN101732052A (zh) * 2009-11-16 2010-06-16 清华大学 一种人体运动形态的红外测量装置及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102243430A (zh) * 2010-05-15 2011-11-16 陈波 正向投影屏

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1385676A (zh) * 2001-05-16 2002-12-18 中国科学院光电技术研究所 一种波前传感器
CN101324662A (zh) * 2008-07-21 2008-12-17 中山大学 面向无线传感器网络的人体红外定位装置及方法
CN101504546A (zh) * 2008-12-12 2009-08-12 北京科技大学 一种儿童机器人的体位跟踪装置
CN101732052A (zh) * 2009-11-16 2010-06-16 清华大学 一种人体运动形态的红外测量装置及方法

Also Published As

Publication number Publication date
CN103020656A (zh) 2013-04-03

Similar Documents

Publication Publication Date Title
CN103020656B (zh) 一种压缩红外感知实现的手势识别装置及识别方法
CN110147743A (zh) 一种复杂场景下的实时在线行人分析与计数系统及方法
CN106203391A (zh) 基于智能眼镜的人脸识别方法
CN109919058A (zh) 一种基于Yolo V3的多源视频影像重点目标快速检测方法
CN106155299B (zh) 一种对智能设备进行手势控制的方法及装置
CN105760832A (zh) 基于Kinect传感器的逃犯识别方法
CN101834986A (zh) 成像装置、运动体检测方法、运动体检测电路和程序
Lo et al. Depth estimation from monocular images and sparse radar using deep ordinal regression network
CN104200203A (zh) 一种基于动作字典学习的人体动作检测方法
CN110287798A (zh) 基于特征模块化和上下文融合的矢量网络行人检测方法
Zhao et al. mmGaitSet: multimodal based gait recognition for countering carrying and clothing changes
CN114882430A (zh) 一种基于Transformer的轻量化早期火灾检测方法
Wang et al. Appraising regional anthropogenic heat flux using high spatial resolution NTL and POI data: A case study in the Beijing-Tianjin-Hebei region, China
CN104537639A (zh) 基于平移评价优选的光谱图像数据融合方法
CN108664941A (zh) 基于测地映射分析的核稀疏描述人脸识别方法
Ma et al. Dynamic gesture contour feature extraction method using residual network transfer learning
He et al. Indoor localization with spatial and temporal representations of signal sequences
CN104813217B (zh) 用于设计能够估计景深的无源单通道成像器的方法
Tang et al. Using a selective ensemble support vector machine to fuse multimodal features for human action recognition
Ou et al. CBW-MSSANet: A CNN framework with compact band weighting and multiscale spatial attention for hyperspectral image change detection
CN103593651A (zh) 基于步态和二维判别分析的煤矿井下人员身份鉴别方法
Baraldi et al. Probability sampling protocol for thematic and spatial quality assessment of classification maps generated from spaceborne/airborne very high resolution images
CN105352602B (zh) 一种光学智能感知多维成像系统
Zheng et al. Classification based on deep convolutional neural networks with hyperspectral image
Feng et al. High-efficiency progressive transmission and automatic recognition of wildlife monitoring images with WISNs

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160914

Termination date: 20211219