CN112905011A - 手势追踪方法、装置、电子设备和介质 - Google Patents

手势追踪方法、装置、电子设备和介质 Download PDF

Info

Publication number
CN112905011A
CN112905011A CN202110179009.3A CN202110179009A CN112905011A CN 112905011 A CN112905011 A CN 112905011A CN 202110179009 A CN202110179009 A CN 202110179009A CN 112905011 A CN112905011 A CN 112905011A
Authority
CN
China
Prior art keywords
dynamic
csi data
arrival
determining
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110179009.3A
Other languages
English (en)
Other versions
CN112905011B (zh
Inventor
路兆铭
韩子钧
郭凌超
温向明
赵靖博
周爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202110179009.3A priority Critical patent/CN112905011B/zh
Publication of CN112905011A publication Critical patent/CN112905011A/zh
Application granted granted Critical
Publication of CN112905011B publication Critical patent/CN112905011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开实施例公开了一种手势追踪方法、装置、电子设备和介质。该手势追踪方法包括：通过两对收发设备采集CSI数据；从所述CSI数据中提取手部动态反射信号，并确定所述手部动态反射信号的动态到达角；基于所述动态到达角中的初始到达角确定初始反射路径长度；基于所述CSI数据的相位变化，确定反射路径长度变化；基于所述动态到达角、所述反射路径长度变化、所述初始反射路径长度确定手在空间中的位置，从而避免了模式识别中繁重的训练步骤，从根本上解决了泛化能力不足和可扩展性差的问题。

Description

手势追踪方法、装置、电子设备和介质
技术领域
本公开涉及通信和计算机技术领域，具体涉及一种手势追踪方法、装置、电子设备和介质。
背景技术
手势作为一种最直观的沟通方式，承载着丰富且微妙的信息。近些年来，手势感知在智能家居、虚拟现实和人机交互等多个领域成为研究焦点。目前，手势感知的方法主要分为基于视觉和基于无线信号两大类。以Leap Motion为代表的基于视觉的方法主要通过从摄像头采集到的图像中提取手掌和关节坐标，进而计算手势轨迹。该方法估计精度高，但是易受光照条件影响，且只能在视距内进行感知，甚至还会涉及用户隐私。基于无线信号的手势感知技术主要分为超宽带技术(Ultra-Wide Band,UWB)，射频识别技术(RadioFrequency Identification,RFID)，雷达和WiFi等。相比于UWB、RFID、雷达技术等需要专有感知设备，WiFi基础设施普及、部署灵活、价格低廉，具有广阔的应用前景。
依靠支持向量机、深度学习等模式识别方法，基于WiFi信号的手势识别近年来取得了较大突破。该类方法的基本原理为：多径传播的WiFi信号受手势活动的影响会改变传播路径，引起信号的波动和失真。且不同的手势对信号的传播影响模式不同，依靠模式识别方法解析信号传播模式，进而实现手势识别。从商用WiFi网卡(如，Intel和Atheros)提取的物理层信道状态信息(Channel State Information,CSI)，表示传播媒介的信道增益矩阵，刻画了信号的多径传播模式。目前利用CSI的幅度和相位波动进行手势识别的识别精度已经达到了90％以上。但是存在以下缺陷：用户的个体差异和行为习惯差异，导致不同用户的相同手势对CSI信号的影响模式不同；此外，相同用户在空间中不同位置做出的相同手势对CSI的影响也不同；基于模式识别的方法只能识别固定的一组预定义手势。一方面，识别模式的不稳定性会极大地降低对未知用户的手势识别准确度，泛化能力差；另一方面，模型的不可扩展性极大地限制了其实用性和大规模部署。
发明内容
为了解决相关技术中的问题，本公开实施例提供一种手势追踪方法、装置、电子设备和介质。
第一方面，本公开实施例中提供了一种手势追踪方法。
具体地，所述手势追踪方法，包括：
通过两对收发设备采集CSI数据；
从所述CSI数据中提取手部动态反射信号，并确定所述手部动态反射信号的动态到达角；
基于所述动态到达角中的初始到达角确定初始反射路径长度；
基于所述CSI数据的相位变化，确定反射路径长度变化；
基于所述动态到达角、所述反射路径长度变化、所述初始反射路径长度确定手在空间中的位置。
结合第一方面，本公开在第一方面的第一种实现方式中，还包括对所述CSI数据执行平滑去噪处理。
结合第一方面，本公开在第一方面的第二种实现方式中，所述两对收发设备相互垂直。
结合第一方面，本公开在第一方面的第三种实现方式中，还包括：
通过滑动窗口检测CSI数据的方差波动以确定手部动作起始时刻；
确定所述动态到达角在所述手部动作起始时刻的取值为初始到达角。
结合第一方面、第一方面的第一种至第三种实现方式中的任一项，本公开在第一方面的第四种实现方式中，所述从所述CSI数据中提取手部动态反射信号，包括：
根据多路所述CSI数据之间的相关性，确定多路所述CSI数据中的动态CSI数据；
从所述动态CSI数据中确定飞行时间最短的CSI数据为手部动态反射信号。
结合第一方面、第一方面的第一种至第三种实现方式中的任一项，本公开在第一方面的第五种实现方式中，所述基于所述动态到达角中的初始到达角确定初始反射路径长度，包括：
基于所述初始到达角确定手势初始位置估计，所述初始位置位于两组收发设备所在的平面内，
基于所述手势初始位置估计确定初始反射路径长度。
结合第一方面、第一方面的第一种至第三种实现方式中的任一项，本公开在第一方面的第六种实现方式中，所述基于所述CSI数据的相位变化，确定反射路径长度变化，包括：
去除所述CSI数据中的静态成分，并通过校准去除所述CSI数据中的与手部检测无关的动态成分，得到处理后的CSI数据；
基于所述处理后的CSI数据的相位变化，确定反射路径长度变化。
第二方面，本公开实施例中提供了一种手势追踪装置。
具体地，所述手势追踪装置，包括：
采集模块，被配置为通过两对收发设备采集CSI数据；
提取模块，被配置为从所述CSI数据中提取手部动态反射信号，并确定所述手部动态反射信号的动态到达角；
第一确定模块，被配置为基于所述动态到达角中的初始到达角确定初始反射路径长度；
第二确定模块，被配置为基于所述CSI数据的相位变化，确定反射路径长度变化；
第三确定模块，被配置为基于所述动态到达角、所述反射路径长度变化、所述初始反射路径长度确定手在空间中的位置。
第三方面，本公开实施例提供了一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如第一方面、第一方面的第一种到第六种实现方式中任一项所述的方法。
第四方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第一方面、第一方面的第一种到第六种实现方式中任一项所述的方法。
根据本公开实施例提供的技术方案，通过两对收发设备采集CSI数据；从所述CSI数据中提取手部动态反射信号，并确定所述手部动态反射信号的动态到达角；基于所述动态到达角中的初始到达角确定初始反射路径长度；基于所述CSI数据的相位变化，确定反射路径长度变化；基于所述动态到达角、所述反射路径长度变化、所述初始反射路径长度确定手在空间中的位置，从而避免了模式识别中繁重的训练步骤，从根本上解决了泛化能力不足和可扩展性差的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
图1示出根据本公开实施例的手势追踪方法的流程图；
图2示出根据本公开另一实施例的确定初始到达角的流程图；
图3示出根据本公开实施例的从CSI数据中提取手部动态反射信号的流程图；
图4示出根据本公开实施例的基于动态到达角中的初始到达角确定初始反射路径长度的流程图；
图5示出根据本公开实施例的手在空间中的位置的示意图；
图6示出根据本公开实施例的基于CSI数据的相位变化确定反射路径长度变化的流程图；
图7示出根据本公开另一实施例的手势追踪方法的流程图；
图8示出根据本公开实施例的手势追踪装置的框图；
图9示出根据本公开实施例的电子设备的框图；
图10示出根据本公开实施例的适于实现手势追踪方法的计算机系统的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
如上文所述，目前利用CSI的幅度和相位波动进行手势识别的识别精度已经达到了90％以上。但是存在以下缺陷：用户的个体差异和行为习惯差异，导致不同用户的相同手势对CSI信号的影响模式不同；此外，相同用户在空间中不同位置做出的相同手势对CSI的影响也不同；基于模式识别的方法只能识别固定的一组预定义手势。一方面，识别模式的不稳定性会极大地降低对未知用户的手势识别准确度，泛化能力差；另一方面，模型的不可扩展性极大地限制了其实用性和大规模部署。
有鉴于此，本发明的目的在于提出一种基于商用WiFi设备的厘米级手势追踪方法及装置，提出3D空间下基于CSI信号的高细粒度手势追踪物理模型，从而绕开模式识别中繁重的训练步骤，从根本上解决了泛化能力不足和可扩展性问题，以增强基于WiFi信号的手势感知技术的实用性。
图1示出根据本公开实施例的手势追踪方法的流程图。
如图1所示，该方法包括操作S110～S150。
在操作S110，通过两对收发设备采集CSI数据；
在操作S120，从所述CSI数据中提取手部动态反射信号，并确定所述手部动态反射信号的动态到达角；
在操作S130，基于所述动态到达角中的初始到达角确定初始反射路径长度；
在操作S140，基于所述CSI数据的相位变化，确定反射路径长度变化；
在操作S150，基于所述动态到达角、所述反射路径长度变化、所述初始反射路径长度确定手在空间中的位置。
根据本公开实施例提供的技术方案，通过两对收发设备采集CSI数据；从所述CSI数据中提取手部动态反射信号，并确定所述手部动态反射信号的动态到达角；基于所述动态到达角中的初始到达角确定初始反射路径长度；基于所述CSI数据的相位变化，确定反射路径长度变化；基于所述动态到达角、所述反射路径长度变化、所述初始反射路径长度确定手在空间中的位置，从而避免了模式识别中繁重的训练步骤，从根本上解决了泛化能力不足和可扩展性差的问题。
根据本公开实施例，收发设备例如可以是WiFi收发设备。收发设备可以用于采集感知区域内的包含手势动作信息的CSI数据。
根据菲涅尔区定义，当手势延以收发设备为焦点的椭圆切线方向移动时，反射信号路径长度不改变，CSI相位保持恒定。
根据本公开实施例，所述两对收发设备可以相互垂直，也可以成一定夹角，为了便于计算，可以设置两对收发设备相互垂直。例如，两对收发设备可以包括一个发射机和两个接收机，两对收发设备构成两个垂直的收发链路，发射机在垂足上。
根据本公开实施例，由WiFi网卡提取出的CSI不仅包含无线信道在通带的频率响应，还包含发射接收机对基带信号处理过程中引入的各种系统噪声，因此，该方法还可以包括对所述CSI数据执行平滑去噪处理。由WiFi网卡提取出的CSI不仅包含无线信道在通带的频率响应，还包含发射接收机对基带信号处理过程中引入的各种系统噪声，因此可以分别对CSI幅度和相位信息进行平滑去噪处理。
图2示出根据本公开另一实施例的确定初始到达角的流程图。
如图2所示，该方法在图1所示意的实施例的基础上，还可以包括操作S210和S220。
在操作S210，通过滑动窗口检测CSI数据的方差波动以确定手部动作起始时刻；
在操作S220，确定所述动态到达角在所述手部动作起始时刻的取值为初始到达角。
根据本公开实施例，操作S210例如可以设置在操作S120之前，操作S220例如可以设置在操作S120之后。
根据本公开实施例，可以采用固定滑动窗口检测CSI幅度方差波动，并设置经验阈值，当方差波动大于阈值时，判定用户做出手势。滑动窗口用于确定检测的时间尺度，滑动窗口越短则检测越灵敏；经验阈值用于与CSI幅度方差对比，若方差大于阈值则认为检测到手势动作，同样，经验阈值越小检测越灵敏。
根据本公开实施例，在操作S120中确定的动态到达角是一组随时间变化的角度值，在确定手部动作起始时刻后，可以将手部动作起始时刻的动态到达角确定为起始到达角。
图3示出根据本公开实施例的从CSI数据中提取手部动态反射信号的流程图。
如图3所示，该方法可以包括操作S310和S320。
在操作S310，根据多路所述CSI数据之间的相关性，确定多路所述CSI数据中的动态CSI数据；
在操作S320，从所述动态CSI数据中确定飞行时间最短的CSI数据为手部动态反射信号。
根据本公开实施例，WiFi信号在空中多径传播，例如包括直传路径信号、通过静态物体反射产生的信号、通过手部反射的信号、甚至经过多次反射的信号。其中，静态信号之间相关性较强，动态信号与其他信号之间的相关性较弱，
根据本公开实施例，根据多路CSI数据之间的相关性，可以确定其中的动态CSI数据，包括通过手部一次反射的CSI数据和经过手部多次反射的CSI数据，选择其中飞行时间(TOF)最短的一路CSI数据，即是手部动态反射信号。
图4示出根据本公开实施例的基于动态到达角中的初始到达角确定初始反射路径长度的流程图。
如图4所示，该方法可以包括操作S410和S420。
在操作S410，基于所述初始到达角确定手势初始位置估计，所述初始位置位于两组收发设备所在的平面内；
在操作S420，基于所述手势初始位置估计确定初始反射路径长度。
显然，当起始位置距离真实位置偏差较大时，对估计的手势轨迹长度、包络和方向都会造成显著的误差，从而影响追踪性能和粒度。
图5示出根据本公开实施例的手在空间中的位置的示意图。
参照图5，可以发射机为原点，以发射机-接收机1为X轴，发射机-接收机2为Y轴，建立笛卡尔坐标系。设收发设备间的距离分别为L1和L2，发射机在接收机1和2上估计的到达角为
Figure BDA0002940908380000085
和
Figure BDA0002940908380000086
该L1、L2、
Figure BDA0002940908380000087
和
Figure BDA0002940908380000088
在设备设置好后测量一次即可，为固定值。通过两组接收机上的动态到达角
Figure BDA0002940908380000089
可实现基于三角定位的手势初始位置估计：
Figure BDA0002940908380000081
Figure BDA0002940908380000082
根据初始位置(x0,y0)，可计算两组收发设备的初始反射路径长度p0和q0：
Figure BDA0002940908380000083
Figure BDA0002940908380000084
图6示出根据本公开实施例的基于CSI数据的相位变化确定反射路径长度变化的流程图。
如图6所示，该方法包括操作S610和S620。
在操作S610，去除所述CSI数据中的静态成分，并通过校准去除所述CSI数据中的与手部检测无关的动态成分，得到处理后的CSI数据；
在操作S620，基于所述处理后的CSI数据的相位变化，确定反射路径长度变化。
根据本公开实施例，该CSI数据可以是从经过去噪处理的原始CSI数据中提取手部动态反射信号，也可以是经过去噪的原始CSI数据本身，二者的选择不会影响该步骤的实现。
根据本公开实施例，该静态成分包括直传路径信号和通过静态物体反射产生的信号，为实现手势细粒度追踪需要去除该些静态成分。对此，可以采用现有的静态成分去除的方法进行处理，此处不展开说明。
此外，由于手部运动遮挡原有静态路径或者产生新的动态路径，这些路径也会对结果造成干扰，称之为与手部检测无关的动态成分，也应当被去除。根据本公开实施例，手部移动产生的信号在复平面中形成曲线，由于该些与手部检测无关的动态成分的存在，该曲线不能形成规则的圆形，通过以圆为目标对曲线校准，可以去除该些与手部检测无关的动态成分。
通过以上处理，得到处理后的CSI数据，由于反射路径长度改变将导致CSI相位的旋转，因此由CSI的相位变化量可确定反射路径长度的改变量。其中，两对收发设备产生两个反射路径长度变化Δp和Δq。
根据本公开实施例，所述基于所述动态到达角、所述反射路径长度变化、所述初始反射路径长度确定手在空间中的位置包括：
通过所述动态到达角、所述反射路径长度变化、所述初始反射路径长度建立超定方程组，求解手在空间中的位置。
下面仍然结合图5对本公开实施例的计算过程进行说明。
通过联立初始位置、动态到达角、手势运动相对轨迹，可以构建如下超定方程组，以求解手的3D空间坐标(x,y,z)：
Figure BDA0002940908380000091
Figure BDA0002940908380000092
Figure BDA0002940908380000093
Figure BDA0002940908380000094
其中，
Figure BDA0002940908380000095
Figure BDA0002940908380000096
Figure BDA0002940908380000097
其中，a和b分别表示接收机连线与手部到接收机1和接收机2间连线的夹角。Ω表示手部坐标在XOY平面上的投影点到接收机连线的带符号距离。p可以基于p0和Δp确定，q可以基于q0和Δq确定。
对于上述超定方程组，可以其中不同的方程式组合求解多组解，然后通过求平均值的方式确定最终结果。
本公开实施例的方法基于动态到达角、手势运动相对轨迹的实时估计，实时更新手的3D空间坐标，最终实现手势轨迹追踪。例如，当用户的手在空中画出图形A时，根据本公开实施例的方法可以实现手势轨迹追踪，识别用户在空中画出的图形以确定用户的意图，功能可以任意扩展，避免了现有技术的模式识别导致的泛化能力差的问题。
根据本公开实施例，以上图1所示的S110～S150之间的相对顺序可以在可能的范围内进行调整，本公开实施例并未对各个步骤的实施顺序进行限定，例如，图7示意出了不同的实现方式。
图7示出根据本公开另一实施例的手势追踪方法的流程图。
如图7所示，该方法大体包括S710～S750。
在操作S710，采集CSI数据，并可以采用上文所述的方法对CSI数据进行去噪处理。
在操作S720，执行手势动作起始点检测，例如通过时间窗口和方差阈值确定手势动作起始时刻，若未检测到手势动作起始时刻，则返回操作S710，持续采集CSI数据；若检测到手势动作启示时刻，可以并行执行操作S730和操作S740。
在操作S730，可以从多路CSI数据中提取手部动态反射信号，并估计动态到达角。
在操作S740，可以去除CSI数据中的静态成分以及与手部检测无关的动态成分，然后估计反射路径长度变化。
在操作S750，结合S730和S740得到的结果，确定手在空间中的位置坐标。例如，可以利用在操作S730中确定的初始到达角计算初始反射路径长度，结合S730中的动态到达角和S740中的路径长度变化，构造超定方程组，可以求解任一时刻手在空间的坐标，实现对手部的运动轨迹的追踪。
由此可见，本公开实施例提供了基于商用WiFi设备的厘米级手势追踪方法及装置，通过CSI采集和去噪处理后进行多路反射信号分离并提取手部动态反射信号，并进行动态信号到达角估计。将所述包含直传路径信号、静态物体反射信号以及与手部检测无关的动态信号的这些静态成分去除，由CSI的相位变化推导手部反射路径长度的改变量，聚合两对收发设备上的反射路径长度变化进而得到相对运动轨迹。将所述估计的初始位置、动态到达角和相对运动轨迹联立超定方程，求解手的3D空间坐标，从而实现3D空间下的细粒度手势追踪。因此，本发明实施例构建手势追踪物理模型，并使用新颖的动态信号到达角估计、静态成分去除和相对运动轨迹估计方法，相比于传统模式识别方法无需经历繁重的训练过程，从根本上解决了泛化能力不足和可扩展性问题，极大的增强了基于WiFi信号的手势感知技术的实用性。
图8示出根据本公开实施例的手势追踪装置的框图。其中，该装置800可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
如图8所示，所述信息处理装置800包括采集模块810、提取模块820、第一确定模块830、第二确定模块840以及第三确定模块850。
采集模块810，被配置为通过两对收发设备采集CSI数据；
提取模块820，被配置为从所述CSI数据中提取手部动态反射信号，并确定所述手部动态反射信号的动态到达角；
第一确定模块830，被配置为基于所述动态到达角中的初始到达角确定初始反射路径长度；
第二确定模块840，被配置为基于所述CSI数据的相位变化，确定反射路径长度变化；
第三确定模块850，被配置为基于所述动态到达角、所述反射路径长度变化、所述初始反射路径长度确定手在空间中的位置。
根据本公开实施例，对所述CSI数据执行平滑去噪处理。
根据本公开实施例，所述两对收发设备相互垂直。
根据本公开实施例，该装置800还可以包括：
检测模块，被配置为通过滑动窗口检测CSI数据的方差波动以确定手部动作起始时刻；
第四确定模块，被配置为确定所述动态到达角在所述手部动作起始时刻的取值为初始到达角。
根据本公开实施例，所述从所述CSI数据中提取手部动态反射信号，包括：
根据多路所述CSI数据之间的相关性，确定多路所述CSI数据中的动态CSI数据；
从所述动态CSI数据中确定飞行时间最短的CSI数据为手部动态反射信号。
根据本公开实施例，所述第一确定模块830被配置为：
基于所述初始到达角确定手势初始位置估计，所述初始位置位于两组收发设备所在的平面内；
基于所述手势初始位置估计确定初始反射路径长度。
根据本公开实施例，所述第二确定模块840被配置为：
去除所述CSI数据中的静态成分，并通过校准去除所述CSI数据中的与手部检测无关的动态成分，得到处理后的CSI数据；
基于所述处理后的CSI数据的相位变化，确定反射路径长度变化。
本公开实施例还提供了一种电子设备，图9示出根据本公开的实施例的电子设备的结构框图。
如图9所示，所述电子设备900包括存储器901和处理器902，其中，所述存储器901用于存储支持电子设备执行上述任一实施例中的信息处理方法或代码生成方法的程序，所述处理器902被配置为用于执行所述存储器901中存储的程序。
根据本公开实施例，所述存储器901用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器902执行以实现以下步骤：
通过两对收发设备采集CSI数据；
从所述CSI数据中提取手部动态反射信号，并确定所述手部动态反射信号的动态到达角；
基于所述动态到达角中的初始到达角确定初始反射路径长度；
基于所述CSI数据的相位变化，确定反射路径长度变化；
基于所述动态到达角、所述反射路径长度变化、所述初始反射路径长度确定手在空间中的位置。
根据本公开实施例，所述处理器902还用于对所述CSI数据执行平滑去噪处理。
根据本公开实施例，所述两对收发设备相互垂直。
根据本公开实施例，所述处理器902还用于执行：
通过滑动窗口检测CSI数据的方差波动以确定手部动作起始时刻；
确定所述动态到达角在所述手部动作起始时刻的取值为初始到达角。
根据本公开实施例，所述从所述CSI数据中提取手部动态反射信号，包括：
根据多路所述CSI数据之间的相关性，确定多路所述CSI数据中的动态CSI数据；
从所述动态CSI数据中确定飞行时间最短的CSI数据为手部动态反射信号。
根据本公开实施例，所述基于所述动态到达角中的初始到达角确定初始反射路径长度，包括：
基于所述初始到达角确定手势初始位置估计，所述初始位置位于两组收发设备所在的平面内；
基于所述手势初始位置估计确定初始反射路径长度。
根据本公开实施例，所述所述基于所述CSI数据的相位变化，确定反射路径长度变化，包括：
去除所述CSI数据中的静态成分，并通过校准去除所述CSI数据中的与手部检测无关的动态成分，得到处理后的CSI数据；
基于所述处理后的CSI数据的相位变化，确定反射路径长度变化。
图10示出根据本公开实施例的适于实现手势追踪方法的计算机系统的结构示意图。
如图10所示，计算机系统1000包括处理单元1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行上述实施例中的各种处理。在RAM 1003中，还存储有系统1000操作所需的各种程序和数据。处理单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。其中，所述处理单元1001可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种手势追踪方法，包括：
通过两对收发设备采集CSI数据；
从所述CSI数据中提取手部动态反射信号，并确定所述手部动态反射信号的动态到达角；
基于所述动态到达角中的初始到达角确定初始反射路径长度；
基于所述CSI数据的相位变化，确定反射路径长度变化；
基于所述动态到达角、所述反射路径长度变化、所述初始反射路径长度确定手在空间中的位置。
2.根据权利要求1所述的方法，还包括，对所述CSI数据执行平滑去噪处理。
3.根据权利要求1所述的方法，其中，所述两对收发设备相互垂直。
4.根据权利要求1所述的方法，还包括：
通过滑动窗口检测CSI数据的方差波动以确定手部动作起始时刻；
确定所述动态到达角在所述手部动作起始时刻的取值为初始到达角。
5.根据权利要求1-4任一项所述的方法，其中，所述从所述CSI数据中提取手部动态反射信号，包括：
根据多路所述CSI数据之间的相关性，确定多路所述CSI数据中的动态CSI数据；
从所述动态CSI数据中确定飞行时间最短的CSI数据为手部动态反射信号。
6.根据权利要求1-4任一项所述的方法，其中，所述基于所述动态到达角中的初始到达角确定初始反射路径长度，包括：
基于所述初始到达角确定手势初始位置估计，所述初始位置位于两组收发设备所在的平面内；
基于所述手势初始位置估计确定初始反射路径长度。
7.根据权利要求1-4任一项所述的方法，其中，所述基于所述CSI数据的相位变化，确定反射路径长度变化，包括：
去除所述CSI数据中的静态成分，并通过校准去除所述CSI数据中的与手部检测无关的动态成分，得到处理后的CSI数据；
基于所述处理后的CSI数据的相位变化，确定反射路径长度变化。
8.一种手势追踪装置，包括：
采集模块，被配置为通过两对收发设备采集CSI数据；
提取模块，被配置为从所述CSI数据中提取手部动态反射信号，并确定所述手部动态反射信号的动态到达角；
第一确定模块，被配置为基于所述动态到达角中的初始到达角确定初始反射路径长度；
第二确定模块，被配置为基于所述CSI数据的相位变化，确定反射路径长度变化；
第三确定模块，被配置为基于所述动态到达角、所述反射路径长度变化、所述初始反射路径长度确定手在空间中的位置。
9.一种电子设备，其特征在于，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-7任一项所述的方法步骤。
10.一种可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-7任一项所述的方法步骤。
CN202110179009.3A 2021-02-09 2021-02-09 手势追踪方法、装置、电子设备和介质 Active CN112905011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110179009.3A CN112905011B (zh) 2021-02-09 2021-02-09 手势追踪方法、装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110179009.3A CN112905011B (zh) 2021-02-09 2021-02-09 手势追踪方法、装置、电子设备和介质

Publications (2)

Publication Number Publication Date
CN112905011A true CN112905011A (zh) 2021-06-04
CN112905011B CN112905011B (zh) 2022-08-30

Family

ID=76123137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110179009.3A Active CN112905011B (zh) 2021-02-09 2021-02-09 手势追踪方法、装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN112905011B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001804A (ja) * 2013-06-14 2015-01-05 国立大学法人埼玉大学 ハンドジェスチャトラッキングシステム
CN107633227A (zh) * 2017-09-15 2018-01-26 华中科技大学 一种基于csi的细粒度手势识别方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001804A (ja) * 2013-06-14 2015-01-05 国立大学法人埼玉大学 ハンドジェスチャトラッキングシステム
CN107633227A (zh) * 2017-09-15 2018-01-26 华中科技大学 一种基于csi的细粒度手势识别方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NOPPHON KEERATIVORANAN,PANAWIT HANPINITSAK,KENTARO SAITO,ET AL.: "Analysis of Non-Intrusive Hand Trajectory Tracking by Utilizing Micro-Doppler Signature Obtained From Wi-Fi Channel State Information", 《IEEE ACCESS》 *

Also Published As

Publication number Publication date
CN112905011B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
Wu et al. FingerDraw: Sub-wavelength level finger motion tracking with WiFi signals
KR101520021B1 (ko) 위치결정을 위한 시스템 및 방법
Yu et al. QGesture: Quantifying gesture distance and direction with WiFi signals
CN110741385B (zh) 手势识别的方法和设备、定位追踪的方法和设备
US9098116B2 (en) Object and movement detection
CN110069134B (zh) 一种利用无线电射频信号还原手部空中移动轨迹的方法
Tan et al. A real-time high resolution passive WiFi Doppler-radar and its applications
US9152276B2 (en) Acoustic motion determination
JP5181704B2 (ja) データ処理装置、姿勢推定システム、姿勢推定方法およびプログラム
US20130301391A1 (en) System and method for object position estimation based on ultrasonic reflected signals
US10674312B2 (en) Locating and tracking a wireless beacon from a wireless device
Wang et al. CSI-based human sensing using model-based approaches: a survey
Wang et al. WiTrace: Centimeter-level passive gesture tracking using OFDM signals
CN113963441A (zh) 一种基于跨域增强的毫米波雷达手势识别方法及系统
Fang et al. Writing in the air: recognize letters using deep learning through WiFi signals
Xiao et al. MilliBack: Real-time plug-n-play millimeter level tracking using wireless backscattering
KR20150082973A (ko) 전리층의 트레이스 추출 방법 및 장치
Pan et al. Dynamic hand gesture detection and recognition with WiFi signal based on 1d-CNN
CN112905011B (zh) 手势追踪方法、装置、电子设备和介质
Regani et al. Handwriting tracking using 60 GHz mmWave radar
US20230141843A1 (en) Method, system, device and storage medium for non-contact velocity estimation of a moving target
Tiwari et al. A novel step detection technique for pedestrian dead reckoning based navigation
Guo et al. Toward low-cost passive motion tracking with one pair of commodity Wi-Fi devices
Liu et al. Acoustic-based 2-D target tracking with constrained intelligent edge device
US20200393560A1 (en) Video object processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant