CN106446801B - 基于超声主动探测的微手势识别方法及系统 - Google Patents

基于超声主动探测的微手势识别方法及系统 Download PDF

Info

Publication number
CN106446801B
CN106446801B CN201610805283.6A CN201610805283A CN106446801B CN 106446801 B CN106446801 B CN 106446801B CN 201610805283 A CN201610805283 A CN 201610805283A CN 106446801 B CN106446801 B CN 106446801B
Authority
CN
China
Prior art keywords
ultrasonic
distance
gesture
signal
speed information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610805283.6A
Other languages
English (en)
Other versions
CN106446801A (zh
Inventor
刘一民
桑煜
王权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201610805283.6A priority Critical patent/CN106446801B/zh
Publication of CN106446801A publication Critical patent/CN106446801A/zh
Application granted granted Critical
Publication of CN106446801B publication Critical patent/CN106446801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Abstract

本发明提出一种基于超声主动探测的微手势识别方法及系统，该方法包括以下步骤：发射超声波信号，并接收超声波信号经过待识别手势动作反射的超声回波信号；对比超声波信号与超声回波信号，以得到超声波信号与超声回波信号的接收时间延迟与频率分辨变化量；根据接收时间延迟与频率分辨变化量，得到超声回波信号中时序的距离和速度信息；根据距离和速度信息，通过数据驱动的模式识别算法对待识别手势动作进行识别和判定。本发明能够精确识别微手势动作，具有分辨率高、鲁棒性高、功耗低及算法复杂度低的优点。

Description

基于超声主动探测的微手势识别方法及系统
技术领域
本发明涉及目标识别技术领域，特别涉及一种基于超声主动探测的微手势识别方法及系统。
背景技术
微手势识别系统是指利用一段时间内的细微动态手势进行分类和识别以实现人机交互目的的电子系统。与目前常见的手势识别方法所使用的大幅度挥手等涉及整个手部运动的手势动作，微手势识别系统旨在利用人的双手和手指的捏转、搓动、转动等符合人们天然操控习惯的细微动态手势，实现人和智能设备的交互。
微手势识别系统有着重要的实际意义和应用前景。随着可穿戴装备的发展，传统的触控交互方法，在智能手表等显示屏幕尺寸较小的设备上，已经难以提供优良的用户体验。其次，在车辆驾驶等情景下，使用屏幕触控，将造成人们精力严重分散，可能引发危险的后果。更进一步，在不远的未来，虚拟现实、三维投影极有可能取代当今使用的二维平面媒体，新型的三维交互技术将成为在上述设备进行互动的前提。在这些情景下，基于微手势识别技术的非接触式的三维交互方法，极有可能替代目前的触控操作方法，发展成为未来智能生活所必须的基础人机交互技术。
基于RGB摄像头和红外摄像头的技术方法较为成熟，被广泛应用于人体大幅度运动和姿态的识别，然而，上述传感器及技术在微手势识别方面的应用遇到困难：第一，在分辨率、环境因素(光照、背景材质)等方面受到限制；第二，这些传感器获取的视觉图像中包含了较多的冗余信息，需要做的预处理和特征提取工作量大，可能导致实时应用不流畅，功耗大；另外，这些传感器只能通过连续几帧图像推测目标的运动状态，而不能直接获取运动信息。因此，基于RGB摄像头和红外摄像头的技术难以实现上述高精度、高鲁棒、符合用户体验的微手势识别与交互应用图景。
发明内容
本发明旨在至少解决上述技术问题之一。
为此，本发明的一个目的在于提出一种基于超声主动探测的微手势识别方法，该方法能够精确识别微手势动作，具有分辨率高、鲁棒性高、功耗低及算法复杂度低的优点。
本发明的另一个目的在于提出一种基于超声主动探测的微手势识别系统。
为了实现上述目的，本发明第一方面的实施例提出了一种基于超声主动探测的微手势识别方法，包括以下步骤：发射超声波信号，并接收所述超声波信号经过待识别手势动作反射的超声回波信号；对比所述超声波信号与所述超声回波信号，以得到所述超声波信号与所述超声回波信号的接收时间延迟与频率分辨变化量；根据所述接收时间延迟与频率分辨变化量，得到所述超声回波信号中时序的距离和速度信息；根据所述距离和速度信息，通过数据驱动的模式识别算法对所述待识别手势动作进行识别和判定。
另外，根据本发明上述实施例的基于超声主动探测的微手势识别方法还可以具有如下附加的技术特征：
在一些示例中，所述根据所述距离和速度信息，通过数据驱动的模式识别算法对所述待识别手势动作进行识别和判定，进一步包括：根据所述速度信息，判断是否存在运动目标；并在存在目标或不存在运动目标时，对应将所述模式识别算法切换至识别工作模式或睡眠工作模式，其中，在所述识别工作模式下，所述模式识别算法正常进行信号处理和手势识别；在所述睡眠工作模式下，所述模式识别算法按照预设时间间隔进行信号处理。
在一些示例中，所述在所述识别工作模式下，所述模式识别算法正常进行信号处理和手势识别，进一步包括：对所述距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，检测所述运动目标，获取所述运动目标的距离和速度信息，并进行时间维度上的目标追踪和关联，压缩信息量，提取反映所述运动目标的运动状态和趋势的特征，以构成时序的特征序列，根据机器学习算法对所述时序的特征序列进行手势动作的分类和识别；或者对所述距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，得到坐标为距离、速度的二维矩阵，并对所述二维矩阵进行压缩和拼接处理，设置完成动作所需的图像帧数的上限值，并截取所述帧数的距离-速度图像，训练并部署卷积神经网络，以进行手势动作的分类和识别；或者对所述距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，得到坐标为距离、速度的二维矩阵，并对所述二维矩阵进行压缩和拼接处理，获取时序的距离-速度矩阵所组成的视频流数据，并根据递归神经网络，对所述时序的距离-速度矩阵所组成的视频流数据进行手势动作的分类和识别。
在一些示例中，所述待识别的手势动作为幅度小于预设幅度且持续预定时间的手势动作，包括：手掌和手指的静态手势、手掌的平移、一个或多个手指的搓动、旋转、平移、点击的动态手势中一个或多个的组合。
在一些示例中，所述超声波信号为调频脉冲波形或调频连续波，且所述超声波信号具有预设波形、预设周期、预设带宽和预设频率分布。
根据本发明实施例的基于超声主动探测的微手势识别方法，信息获取的维度上，获取的目标距离、瞬时速度等信息是连续、微小的动态手势运动的核心特征，从而可减少信息冗余，解决目前识别技术只能识别大幅度运动和姿态、分辨力低的缺点，实现了毫米精度的距离分辨力，即具有分辨率高的优点；该方法环境鲁棒性强，受光照、背景材质、天气的环境条件的限制小；该方法功耗低，直接获取瞬时速度，在运动分隔、追踪方面大大降低了算法复杂度，并为系统在不同工作模式间切换提供便利，从而降低了能耗；另外，该方法使用超声主动探测和信号处理技术，能够同时实现多个目标的距离、速度同时精确测量，从而降低了硬件复杂度和成本，并且在手势识别算法中提出的压缩特征的方法进一步降低了运算量和功耗。
为了实现上述目的，本发明第二方面的实施例提出了一种基于超声主动探测的微手势识别系统，包括：信号收发模块，所述信号收发模块用于发射超声波信号，并接收所述超声波信号经过待识别手势动作反射的超声回波信号；对比模块，所述对比模块用于对比所述超声波信号与所述超声回波信号，以得到所述超声波信号与所述超声回波信号的接收时间延迟与频率分辨变化量；处理模块，所述处理模块用于根据所述接收时间延迟与频率分辨变化量，得到所述超声回波信号中时序的距离和速度信息；识别模块，所述识别模块用于根据所述距离和速度信息，通过数据驱动的模式识别算法对所述待识别手势动作进行识别和判定。
另外，根据本发明上述实施例的基于超声主动探测的微手势识别系统还可以具有如下附加的技术特征：
在一些示例中，所述识别模块根据所述距离和速度信息，通过数据驱动的模式识别算法对所述待识别手势动作进行识别和判定，包括：根据所述速度信息，判断是否存在运动目标；并在存在目标或不存在运动目标时，对应将所述模式识别算法切换至识别工作模式或睡眠工作模式，其中，在所述识别工作模式下，所述模式识别算法正常进行信号处理和手势识别；在所述睡眠工作模式下，所述模式识别算法按照预设时间间隔进行信号处理。
在一些示例中，所述在所述识别工作模式下，所述模式识别算法正常进行信号处理和手势识别，包括：对所述距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，检测所述运动目标，获取所述运动目标的距离和速度信息，并进行时间维度上的目标追踪和关联，压缩信息量，提取反映所述运动目标的运动状态和趋势的特征，以构成时序的特征序列，根据机器学习算法对所述时序的特征序列进行手势动作的分类和识别；或者对所述距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，得到坐标为距离、速度的二维矩阵，并对所述二维矩阵进行压缩和拼接处理，设置完成动作所需的图像帧数的上限值，并截取所述帧数的距离-速度图像，训练并部署卷积神经网络，以进行手势动作的分类和识别；或者对所述距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，得到坐标为距离、速度的二维矩阵，并对所述二维矩阵进行压缩和拼接处理，获取时序的距离-速度矩阵所组成的视频流数据，并根据递归神经网络，对所述时序的距离-速度矩阵所组成的视频流数据进行手势动作的分类和识别。
在一些示例中，所述待识别的手势动作为幅度小于预设幅度且持续预定时间的手势动作，包括：手掌和手指的静态手势、手掌的平移、一个或多个手指的搓动、旋转、平移、点击的动态手势中一个或多个的组合。
在一些示例中，所述超声波信号为调频脉冲波形或调频连续波，且所述超声波信号具有预设波形、预设周期、预设带宽和预设频率分布。
根据本发明实施例的基于超声主动探测的微手势识别系统，信息获取的维度上，获取的目标距离、瞬时速度等信息是连续、微小的动态手势运动的核心特征，从而可减少信息冗余，解决目前识别技术只能识别大幅度运动和姿态、分辨力低的缺点，实现了毫米精度的距离分辨力，即具有分辨率高的优点；该系统环境鲁棒性强，受光照、背景材质、天气的环境条件的限制小；该系统功耗低，直接获取瞬时速度，在运动分隔、追踪方面大大降低了算法复杂度，并为系统在不同工作模式间切换提供便利，从而降低了能耗；另外，该系统使用超声主动探测和信号处理技术，能够同时实现多个目标的距离、速度同时精确测量，从而降低了硬件复杂度和成本，并且在手势识别算法中提出的压缩特征的方法进一步降低了运算量和功耗。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明实施例的基于超声主动探测的微手势识别方法的流程图；
图2是根据本发明一个具体实施例的基于超声主动探测的微手势识别方法的具体实现原理框图；
图3是根据本发明一个实施例的微手势动作示例示意图；
图4是根据本发明一个具体实施例的超声传感器发射超声波并接收手势动作反射回波的示例情景示意图；
图5是根据本发明一个具体实施例的超声波信号示例示意图；
图6是根据本发明另一个具体实施例的超声波信号示例示意图；
图7是根据本发明一个实施例的信号检测算法流程示意图；
图8是根据本发明一个实施例的模式识别算法示例流程示意图；
图9是根据本发明另一个实施例的模式识别算法示例流程示意图；
图10是根据本发明又一个实施例的模式识别算法示例流程示意图；
图11是根据本发明另一个具体实施例的基于超声主动探测的微手势识别方法的原理框图；
图12是根据本发明一个具体实施例的基于超声主动探测的微手势识别方法与设备或应用进行交互的示例示意图；
图13是根据本发明另一个具体实施例的基于超声主动探测的微手势识别方法与设备或应用进行交互的示例示意图；以及
图14是根据本发明一个具体实施例的基于超声主动探测的微手势识别系统的整体原理框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
以下结合附图描述根据本发明实施例的基于超声主动探测的微手势识别方法及系统。
图1是根据本发明一个实施例的基于超声主动探测的微手势识别方法的流程图。如图1所示，该方法包括以下步骤：
步骤S1：发射超声波信号，并接收超声波信号经过待识别手势动作反射的超声回波信号。
在具体示例中，结合图2所示，例如通过超声波收发传感器发射超声波信号，并接收超声波信号经过待识别手势动作反射的超声回波信号。具体地，超声波收发传感器有多种实现方式。可以单个使用或者多个使用并配置成阵列，从而使得超声波信号形成的有效声场能够覆盖手势动作轨迹所在三维空间范围。具体地说，单个使用为一个超声波发射传感器将电能转换为声能、以及一个超声波接收传感器将声能转换为电能，或者使用一个超声波收发一体的传感器，实现发射、接收过程中电能和声能的双向转换；多个使用配置成阵列，包括使用多个超声波接收传感器配置成阵列，以及/或者使用多个超声波发射传感器配置成阵列，以及/或者使用多个超声波收发一体传感器配置成阵列。其中，超声波传感器，包括超声波发射传感器、接收传感器、收发一体传感器，可以是独立模块的非小型集成化的压电陶瓷超声传感器或者由微机电系统技术集成的超声传感器等，也可以利用内置于电子产品(PC、手机、平板电脑、电子书阅读器、游戏机、便携式多媒体播放器、电视机、车载多媒体设备、智能家居控制器、虚拟现实设备、智能手表、智能眼镜等等)中的扬声器与麦克风在人耳所不能分辨的超声频率范围(>20kHz)中进行的功能扩展。
在本发明的一个实施例中，待识别的手势动作例如为预先设定的幅度小于预设幅度且持续预定时间的手势动作，换言之，即待识别的手势动作为小幅度、有一定持续时间的微手势，例如包括：手掌和手指的静态手势、手掌的平移、一个或多个手指的搓动、旋转、平移、点击的动态手势中一个或多个的组合。微手势识别的重要特点是能够区别不同手指的运动。结合图3所示，展示了一些待识别手势动作的示例，图中所示动作标注及其解释依次为：1)finger：单指点击；2)button off：双指按钮，抬起；3)button on：双指按钮，闭合；4)motion up：双指搓动，向上；5)motion down：双指搓动，向下；6)screw：双指旋转。需要说明的是，但本发明的待识别的手势动作并不限制在图3示例的特定的手势，图3的示例旨在帮助理解微手势的概念，在本发明精神和范围内做些许替换和改动，用于识别其他的手势、体态动作及其组合，也应当在本发明的保护范围内，此处仅是示例性的描述。
步骤S2：对比超声波信号与超声回波信号，以得到超声波信号与超声回波信号的接收时间延迟与频率分辨变化量。
步骤S3：根据接收时间延迟与频率分辨变化量，得到超声回波信号中时序的距离和速度信息。
在本发明的一个实施例中，超声波信号为调频脉冲波形或调频连续波，且超声波信号具有预设波形、预设周期、预设带宽和预设频率分布。
在具体实施例中，结合图2所示，步骤S2至步骤S4例如可通过系统电路完成。具体地说，系统电路产生具有一定的波形、周期、带宽和频率分布的电信号激励超声波发射，并采集手势动作反射的超声回波信号，对比该信号与发射信号接收时间延迟、频率分辨的改变，使得系统具备同时测量多个目标的距离、速度的能力。其中，系统电路例如包括电源模块、发射激励电路和接收采集电路。电源模为系统供电；发射激励电路用于提供超声激励超声波发射传感器的电信号，进行所需的增益控制、调制/解调，编码/解码等操作；接收采集电路采集手势动作反射的超声回波信号，进行所需的增益控制、调制/解调，编码/解码等操作，将采集信号送入后续的处理器；各单元的连接组件用于不同单元内部，以及不同单元之间的电路连接。
作为具体的实施例，图4为超声传感器发射超声波信号并接收手势动作反射回波的示例情景。超声波接收、发射传感器与图2所示例的示意图的部件一致，实现方式如图2介绍所述。为实现对微手势的探测，综合考虑超声传感器接收、发射系统的方向性以及超声波在传播和反射过程中的衰减、损耗，超声波形成的有效声场能够覆盖手势动作轨迹所在三维空间范围，例如图4中的三角形区域，所述三维空间范围应当包含空气、水下等环境。此外，超声波接收、发射传感器应当具有一定的带宽，使得其经过系统电路的发射激励电路的电信号激励后，能够转换成与处理器中信号处理部分所需求的具有一定的波形、周期、带宽和频率分布，并接收微手势对该超声信号的回波。超声波接收、发射传感器通过系统电路中的单元连接组件，与系统电路中的接收采集电路相连接，并且后续进一步进行所需的增益控制、调制/解调，编码/解码等操作。
在上述示例中，超声波信号的具有一定的波形、周期、带宽和频率分布(即预设波形、预设周期、预设带宽和预设频率分布)，采集手势动作反射的超声回波信号，根据超声波传播和多普勒效应的物理原理，对比该超声回波信号与发射的超声波信号接收时间延迟、频率分辨的改变，使得系统具备同时测量多个目标的距离、速度的能力。可采用的实现方法例如调频脉冲信号处理与检测、调频连续波信号处理与检测。
作为具体的示例，图5为超声波信号的一种示例。采用调频脉冲信号，图示内容分别为一个脉冲内的示例性线性调频脉冲的时频分布，一个脉冲内的示例性线性调频脉冲的时域波形，以及多个脉冲重复间隔内的示例性线性调频脉冲波形。
图6为超声波信号的另一种示例。采用调频连续波信号，图示内容分别为一个周期内的示例性三角调频连续波的时频分布，一个周期内的示例性三角调频连续波的时域波形，以及多个周期的示例性三角调频连续波的时域波形。
图7为一种信号检测算法流程示例。采用上述图5的调频脉冲信号处理与检测，同时测量多个目标的距离、速度。脉冲雷达信号处理的两个核心过程是快时间维度采样和慢时间维度多普勒分析，在信号处理中使用匹配滤波和脉冲压缩技术，可以增强回波信号信噪比。
上述的信号处理与检测算法，应当实施按照混响补偿、正交相位检波、基带信号采样、匹配滤波、复频率合成、慢时间维度采样、多普勒-距离特征提取的流程进行。最终提取的多普勒-距离特征即为处理器中手势识别所需的距离、速度信息输入。
根据实际应用所面向微手势识别情景，判断系统需求的速度、距离的分辨力、精度等需求，并基于此情景和需求，设置出超声脉冲主动探测系统的载波中心频率、脉冲重复间隔、超声脉冲信号带宽、快时间维度采样频率、慢时间维度分析用作滤波器组的FFT点数、脉冲数目。为实现不同手指的距离分辨，在优选实施例中，系统应该具有小于1cm的距离分辨力，所述距离分辨力基于系统电路激励的超声信号带宽被配置为10k至100kHz。并且，超声信号由超声传感器受到发射激励电路的激励，将电信号转化为超声波形成，超声传感器带宽应当具备匹配的频率响应，即超声传感器的带宽应为10k至100kHz。
步骤S4：根据距离和速度信息，通过数据驱动的模式识别算法对待识别手势动作进行识别和判定。
在本发明的一个实施例中，在步骤S4中，根据距离和速度信息，通过数据驱动的模式识别算法对待识别手势动作进行识别和判定，进一步包括：根据速度信息，判断是否存在运动目标；并在存在目标或不存在运动目标时，对应将模式识别算法切换至识别工作模式或睡眠工作模式，其中，在识别工作模式下，模式识别算法正常进行信号处理和手势识别；在睡眠工作模式下，模式识别算法按照预设时间间隔进行信号处理。
在具体实施例中，结合图2所示，步骤S4例如可通过处理器完成。具体地说，处理器由存储单元和计算单元构成，以进行信号处理和手势识别，其中，信号处理的内容为提取微手势动作的超声回波信号中时序的距离、速度信息，手势识别的内容为利用时序的距离、速度信息，采用数据驱动的模式识别算法进行手势的判定和识别。具体地，处理器进行信号处理时，将根据系统电路采集的手势动作反射回波，根据超声波传播和多普勒效应的物理原理，由脉冲压缩或者调频连续波的信号处理技术，提取多个目标的时序的距离、多普勒信息。处理器进行手势识别时，直接利用速度信息，判断是否存在运动目标，并根据有或无运动目标将系统的工作模式切换至识别或睡眠，所述识别工作模式下，系统正常工作，而所述睡眠工作模式下，系统每隔一定的时间间隔(即预设时间间隔)启动探测，从而降低功耗。
更为具体地，在识别工作模式下，模式识别算法正常进行信号处理和手势识别，进一步包括：对距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，检测运动目标，获取运动目标的距离和速度信息，并进行时间维度上的目标追踪和关联，压缩信息量，提取反映运动目标的运动状态和趋势的特征，以构成时序的特征序列，根据机器学习算法对时序的特征序列进行手势动作的分类和识别，例如图8所示；或者对距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，得到坐标为距离、速度的二维矩阵，并对二维矩阵进行压缩和拼接处理，设置完成动作所需的图像帧数的上限值，并截取帧数的距离-速度图像，训练并部署卷积神经网络，以进行手势动作的分类和识别，例如图9所示；或者对距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，得到坐标为距离、速度的二维矩阵，并对二维矩阵进行压缩和拼接处理，获取时序的距离-速度矩阵所组成的视频流数据，并根据递归神经网络，对时序的距离-速度矩阵所组成的视频流数据进行手势动作的分类和识别，例如图10所示。
进一步地，在具体实施过程中，本发明实施例的基于超声主动探测的微手势识别方法例如还包括：通过人机交互单元与外部设备或应用进行交互。具体地说，人机交互单元例如包括进行交互所必须的通信硬件、环境和接口。待交互的设备或应用例如包括但不限于PC、手机、平板电脑、电子书阅读器、游戏机、便携式多媒体播放器、电视机、车载多媒体设备、智能家居控制器、虚拟现实设备、智能手表、智能眼镜及其上的应用，这些设备或应用与处理器共享计算单元与存储单元，或者独立实现于其他的计算设备与存储介质上，并且实现处理器与所交互的设备或应用的通信硬件、环境和接口的连接与交互，定义处理器给出的手势识别结果与所交互的设备或应用的控制指令之间的映射关系。基于此，人机交互单元根据处理器与所交互的设备或应用的通信硬件、环境和接口，向所交互的设备或硬件传递手势识别结果；根据手势识别结果与所交互的设备或应用的控制指令之间的映射关系，对向所交互的设备或硬件下达控制指令，以使所交互的设备或硬件执行对应于该控制指令的操作。
作为具体的实施例，图11展示了本发明的基于超声主动探测的微手势识别方法的一个具体实施例的原理框图。
在本实施例中，该方法实施所使用的系统原型例如由硬件平台、信号处理模块以及模式识别模块几部分组成。硬件平台的组成包超声传感器、前端电路、模数转换器、数模转换器、外围电源模块和模块之间的连接件。系统的硬件平台的各个组成部分为：超声传感器，根据图5所示的调频脉冲信号以及图7所示的基于脉冲雷达技术的信号处理模块，使用中心频率为300kHz、带宽为20kHz收发一体超声传感器(ultrasonic transceiver)，实现了电信号和超声信号的双向转换；数模转换器，利用数字信号转换为模拟信号的方法，产生脉冲信号激励传感器发射超声波，由FPGA基于DDS(Direct Digital Synthesizer，直接频率合成)实现，使用基于串口的通信协议，对脉冲的带宽、时宽、载波频率等参数进行设置；系统电路，将数模转换器产生的脉冲级联信号放大后，激励超声传感器，发射超声波，将接收超声回波产生的电信号放大合适的倍数，送入模数转换器；模数转换器，将超声回波电信号采样为数字信号，级联信号处理和模式识别模块，由FPGA基于udp组播的千兆以太网通信协议，实现采样数据的传输和对FPGA的控制，通过千兆以太网实现FPGA的采样数据到处理设备的传输，在网络的传输层，使用udp组播的协议，在网络的应用层，使用视频数据传输协议；为获取采样数据，具体实现工作分为udp组播socket编程获取携带采样数据的分组，解析udp协议和视频传输协议，根据包号拼接、分隔不同脉冲间的信号。
在本实施例中，该系统原型的实时微手势识别的工作流程概述为：由DDS-DAC产生超声激励信号，经过放大后激励超声传感器发射超声波、并接收目标发射回波，经过ETH-ADC采样为数字信号，送入信号处理模块；信号处理模块基于脉冲雷达信号处理技术，采样并行运算框架，输出Doppler-Range特征提取结果；模式识别模块利用直接获取多普勒速度信息的优势，进行实时的运动分隔，从Doppler-Range帧中提取符号化特征，构成时序序列，由基于HMM的分类器判决手势分类结果；利用判决结果实现人机交互。该原型系统成功完成了微手势控制音乐播放器的展示。
在具体实施例中，本发明实施例的基于超声主动探测的微手势识别方法，应用领域包括但不限制在在智能家居、驾驶辅助、可穿戴设备、虚拟现实，作为电子设备(PC、手机、平板电脑、电子书阅读器、游戏机、便携式多媒体播放器、电视机、车载多媒体设备、智能家居控制器、虚拟现实设备、智能手表、智能眼镜等等)的人机交互接口。本发明提出的基于超声主动探测的微手势识别系统及其实现方法在所述设备中增加独立组件实现，也可以在所述设备的制造中集成，作为内置扩展功能。
进一步地，作为具体的示例，图12展示了一个微手势与设备或应用进行交互的示例。该示例中，基于本发明提出的基于超声主动探测的微手势识别方法，利用微手势实现对手机或平板电脑的操控，系统已经集成内置在手机/平板电脑中。例如：用图3所示的动作2-1(单指的点击)实现确认点击；用图3所示的动作2-2(双指按钮，闭合)和2-3(双指按钮，抬起)实现屏幕的上下滑动；用图3所示的动作2-4(双指搓动向上)和2-5(双指搓动向下)实现屏幕的左右滑动；利用图3所示的动作2-6(双指旋转)实现应用的切换。
作为具体的示例，图13展示了另一个微手势与设备或应用进行交互的示例。图13为微手势与设备或应用进行交互的示例。在该示例中，基于本发明提出的基于超声主动探测的微手势识别系统和方法，利用微手势实现对可穿戴的操控，系统已经集成内置在可穿戴装备中。例如：用图3所示的动作2-1(单指的点击)实现设备的唤醒/睡眠；用图3所示的动作2-2(双指按钮，闭合)和2-3(双指按钮，抬起)实现选项的上下滑动；用图3所示的动作2-4(双指搓动向上)和2-5(双指搓动向下)实现屏幕的音量大小的调节；利用图3所示的动作2-6(双指旋转)实现选中确认操作。
综上，根据本发明实施例的基于超声主动探测的微手势识别方法，信息获取的维度上，获取的目标距离、瞬时速度等信息是连续、微小的动态手势运动的核心特征，从而可减少信息冗余，解决目前识别技术只能识别大幅度运动和姿态、分辨力低的缺点，实现了毫米精度的距离分辨力，即具有分辨率高的优点；该方法环境鲁棒性强，受光照、背景材质、天气的环境条件的限制小；该方法功耗低，直接获取瞬时速度，在运动分隔、追踪方面大大降低了算法复杂度，并为系统在不同工作模式间切换提供便利，从而降低了能耗；另外，该方法使用超声主动探测和信号处理技术，能够同时实现多个目标的距离、速度同时精确测量，从而降低了硬件复杂度和成本，并且在手势识别算法中提出的压缩特征的方法进一步降低了运算量和功耗。
本发明的进一步实施例还提出了一种基于超声主动探测的微手势识别系统。
图14是根据本发明一个实施例的基于超声主动探测的微手势识别系统的结构框图。如图14所示，该系统100包括：信号收发模块110、对比模块120、处理模块130和识别模块140。
其中，信号收发模块110用于发射超声波信号，并接收超声波信号经过待识别手势动作反射的超声回波信号。其中，信号收发模块110例如为超声波收发传感器。
在本发明的一个实施例中，待识别的手势动作例如为幅度小于预设幅度且持续预定时间的手势动作，包括：手掌和手指的静态手势、手掌的平移、一个或多个手指的搓动、旋转、平移、点击的动态手势中一个或多个的组合。
在本发明的一个实施例中，超声波信号为调频脉冲波形或调频连续波，且超声波信号具有预设波形、预设周期、预设带宽和预设频率分布。
对比模块120用于对比超声波信号与超声回波信号，以得到超声波信号与超声回波信号的接收时间延迟与频率分辨变化量。
处理模块130用于根据接收时间延迟与频率分辨变化量，得到超声回波信号中时序的距离和速度信息。
识别模块140用于根据距离和速度信息，通过数据驱动的模式识别算法对待识别手势动作进行识别和判定。
在本发明的一个实施例中，识别模块140根据距离和速度信息，通过数据驱动的模式识别算法对待识别手势动作进行识别和判定，包括：根据速度信息，判断是否存在运动目标；并在存在目标或不存在运动目标时，对应将模式识别算法切换至识别工作模式或睡眠工作模式，其中，在识别工作模式下，模式识别算法正常进行信号处理和手势识别；在睡眠工作模式下，模式识别算法按照预设时间间隔进行信号处理。
更为具体地，在识别工作模式下，模式识别算法正常进行信号处理和手势识别，包括：对距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，检测运动目标，获取运动目标的距离和速度信息，并进行时间维度上的目标追踪和关联，压缩信息量，提取反映运动目标的运动状态和趋势的特征，以构成时序的特征序列，根据机器学习算法对时序的特征序列进行手势动作的分类和识别；或者对距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，得到坐标为距离、速度的二维矩阵，并对二维矩阵进行压缩和拼接处理，设置完成动作所需的图像帧数的上限值，并截取帧数的距离-速度图像，训练并部署卷积神经网络，以进行手势动作的分类和识别；或者对距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，得到坐标为距离、速度的二维矩阵，并对二维矩阵进行压缩和拼接处理，获取时序的距离-速度矩阵所组成的视频流数据，并根据递归神经网络，对时序的距离-速度矩阵所组成的视频流数据进行手势动作的分类和识别。
需要说明的是，本发明实施例的基于超声主动探测的微手势识别系统的具体实现方式与本发明实施例的基于超声主动探测的微手势识别方法的具体实现方式类似，具体请参见方法部分的描述，为了减少冗余，此处不再赘述。
综上，根据本发明实施例的基于超声主动探测的微手势识别系统，信息获取的维度上，获取的目标距离、瞬时速度等信息是连续、微小的动态手势运动的核心特征，从而可减少信息冗余，解决目前识别技术只能识别大幅度运动和姿态、分辨力低的缺点，实现了毫米精度的距离分辨力，即具有分辨率高的优点；该系统环境鲁棒性强，受光照、背景材质、天气的环境条件的限制小；该系统功耗低，直接获取瞬时速度，在运动分隔、追踪方面大大降低了算法复杂度，并为系统在不同工作模式间切换提供便利，从而降低了能耗；另外，该系统使用超声主动探测和信号处理技术，能够同时实现多个目标的距离、速度同时精确测量，从而降低了硬件复杂度和成本，并且在手势识别算法中提出的压缩特征的方法进一步降低了运算量和功耗。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (2)

1.一种基于超声主动探测的微手势识别方法，其特征在于，包括以下步骤：
发射超声波信号，并接收所述超声波信号经过待识别手势动作反射的超声回波信号，所述超声波信号为调频脉冲波形，且所述超声波信号具有预设波形、预设周期、预设带宽和预设频率分布，其中，所述待识别的手势动作为幅度小于预设幅度且持续预定时间的手势动作，包括：手掌和手指的静态手势、手掌的平移、一个或多个手指的搓动、旋转、平移、点击的动态手势中一个或多个的组合；
对比所述超声波信号与所述超声回波信号，以得到所述超声波信号与所述超声回波信号的接收时间延迟与频率分辨变化量，其中，在对比所述超声波信号与所述超声回波信号时，进行快时间维度采样和慢时间维度多普勒分析，并在信号处理中使用匹配滤波和脉冲压缩技术；
根据所述接收时间延迟与频率分辨变化量，得到所述超声回波信号中时序的距离和速度信息，包括：按照混响补偿、正交相位检波、基带信号采样、匹配滤波、复频率合成、慢时间维度采样、多普勒-距离特征提取的流程进行，并将最终提取的多普勒-距离特征作为所述距离和速度信息，其中，根据实际应用选取微手势识别情景，判断所需求的速度、距离的分辨力和精度，并基于所述微手势识别情景和需求，设置超声脉冲主动探测过程的载波中心频率、脉冲重复间隔、超声脉冲信号带宽、快时间维度采样频率、慢时间维度分析用作滤波器组的FFT点数、脉冲数目，并设置距离分辨力小于1cm，所述距离分辨力基于电路激励的超声信号带宽被配置为10k至100kHz，并且，超声信号由超声传感器受到发射激励电路的激励，将电信号转化为超声波形成，超声传感器带宽具备匹配的频率响应，超声传感器的带宽被配置为10k至100kHz；
根据所述距离和速度信息，通过数据驱动的模式识别算法对所述待识别手势动作进行识别和判定，包括：根据所述速度信息，判断是否存在运动目标；并在存在目标或不存在运动目标时，对应将所述模式识别算法切换至识别工作模式或睡眠工作模式，其中，在所述识别工作模式下，所述模式识别算法正常进行信号处理和手势识别；在所述睡眠工作模式下，所述模式识别算法按照预设时间间隔进行信号处理，其中，在所述识别工作模式下，所述模式识别算法正常进行信号处理和手势识别，进一步包括：对所述距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，检测所述运动目标，获取所述运动目标的距离和速度信息，并进行时间维度上的目标追踪和关联，压缩信息量，提取反映所述运动目标的运动状态和趋势的特征，以构成时序的特征序列，根据机器学习算法对所述时序的特征序列进行手势动作的分类和识别；或者对所述距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，得到坐标为距离、速度的二维矩阵，并对所述二维矩阵进行压缩和拼接处理，设置完成动作所需的图像帧数的上限值，并截取所述帧数的距离-速度图像，训练并部署卷积神经网络，以进行手势动作的分类和识别；或者对所述距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，得到坐标为距离、速度的二维矩阵，并对所述二维矩阵进行压缩和拼接处理，获取时序的距离-速度矩阵所组成的视频流数据，并根据递归神经网络，对所述时序的距离-速度矩阵所组成的视频流数据进行手势动作的分类和识别。
2.一种基于超声主动探测的微手势识别系统，其特征在于，包括：
信号收发模块，所述信号收发模块用于发射超声波信号，并接收所述超声波信号经过待识别手势动作反射的超声回波信号，所述超声波信号为调频脉冲波形或调频连续波，且所述超声波信号具有预设波形、预设周期、预设带宽和预设频率分布，其中，所述待识别的手势动作为幅度小于预设幅度且持续预定时间的手势动作，包括：手掌和手指的静态手势、手掌的平移、一个或多个手指的搓动、旋转、平移、点击的动态手势中一个或多个的组合；
对比模块，所述对比模块用于对比所述超声波信号与所述超声回波信号，以得到所述超声波信号与所述超声回波信号的接收时间延迟与频率分辨变化量，其中，在对比所述超声波信号与所述超声回波信号时，进行快时间维度采样和慢时间维度多普勒分析，并在信号处理中使用匹配滤波和脉冲压缩技术；
处理模块，所述处理模块用于根据所述接收时间延迟与频率分辨变化量，得到所述超声回波信号中时序的距离和速度信息，包括：按照混响补偿、正交相位检波、基带信号采样、匹配滤波、复频率合成、慢时间维度采样、多普勒-距离特征提取的流程进行，并将最终提取的多普勒-距离特征作为所述距离和速度信息，其中，根据实际应用选取微手势识别情景，判断所需求的速度、距离的分辨力和精度，并基于所述微手势识别情景和需求，设置超声脉冲主动探测过程的载波中心频率、脉冲重复间隔、超声脉冲信号带宽、快时间维度采样频率、慢时间维度分析用作滤波器组的FFT点数、脉冲数目，并设置距离分辨力小于1cm，所述距离分辨力基于电路激励的超声信号带宽被配置为10k至100kHz，并且，超声信号由超声传感器受到发射激励电路的激励，将电信号转化为超声波形成，超声传感器带宽具备匹配的频率响应，超声传感器的带宽被配置为10k至100kHz；
识别模块，所述识别模块用于根据所述距离和速度信息，通过数据驱动的模式识别算法对所述待识别手势动作进行识别和判定，包括：根据所述速度信息，判断是否存在运动目标；并在存在目标或不存在运动目标时，对应将所述模式识别算法切换至识别工作模式或睡眠工作模式，其中，在所述识别工作模式下，所述模式识别算法正常进行信号处理和手势识别；在所述睡眠工作模式下，所述模式识别算法按照预设时间间隔进行信号处理，其中，在所述识别工作模式下，所述模式识别算法正常进行信号处理和手势识别，进一步包括：对所述距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，检测所述运动目标，获取所述运动目标的距离和速度信息，并进行时间维度上的目标追踪和关联，压缩信息量，提取反映所述运动目标的运动状态和趋势的特征，以构成时序的特征序列，根据机器学习算法对所述时序的特征序列进行手势动作的分类和识别；或者对所述距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，得到坐标为距离、速度的二维矩阵，并对所述二维矩阵进行压缩和拼接处理，设置完成动作所需的图像帧数的上限值，并截取所述帧数的距离-速度图像，训练并部署卷积神经网络，以进行手势动作的分类和识别；或者对所述距离和速度信息进行去噪处理，根据去噪后的速度信息对运动目标进行分割，得到坐标为距离、速度的二维矩阵，并对所述二维矩阵进行压缩和拼接处理，获取时序的距离-速度矩阵所组成的视频流数据，并根据递归神经网络，对所述时序的距离-速度矩阵所组成的视频流数据进行手势动作的分类和识别。
CN201610805283.6A 2016-09-06 2016-09-06 基于超声主动探测的微手势识别方法及系统 Active CN106446801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610805283.6A CN106446801B (zh) 2016-09-06 2016-09-06 基于超声主动探测的微手势识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610805283.6A CN106446801B (zh) 2016-09-06 2016-09-06 基于超声主动探测的微手势识别方法及系统

Publications (2)

Publication Number Publication Date
CN106446801A CN106446801A (zh) 2017-02-22
CN106446801B true CN106446801B (zh) 2020-01-07

Family

ID=58164041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610805283.6A Active CN106446801B (zh) 2016-09-06 2016-09-06 基于超声主动探测的微手势识别方法及系统

Country Status (1)

Country Link
CN (1) CN106446801B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951861A (zh) * 2017-03-20 2017-07-14 上海与德科技有限公司 超声波手势识别方法及装置
CN107479771B (zh) * 2017-07-21 2020-10-23 浙江天益塑业有限公司 一种控制方法、终端及存储介质
CN107450724A (zh) * 2017-07-31 2017-12-08 武汉大学 一种基于双声道音频多普勒效应的手势识别方法及系统
CN107635057A (zh) * 2017-07-31 2018-01-26 努比亚技术有限公司 一种虚拟现实终端控制方法、终端和计算机可读存储介质
CN107589424B (zh) * 2017-08-31 2021-12-17 努比亚技术有限公司 超声波采样方法、装置及计算机可读存储介质
NO20171742A1 (en) * 2017-09-15 2019-03-18 Elliptic Laboratories As User Authentication Control
CN108171673B (zh) 2018-01-12 2024-01-23 京东方科技集团股份有限公司 图像处理方法、装置、车载抬头显示系统及车辆
CN108344996B (zh) * 2018-01-25 2022-03-01 隔空（上海）智能科技有限公司 一种基于微波雷达手势识别技术的面板开关及其控制方法
CN110262653A (zh) * 2018-03-12 2019-09-20 东南大学 一种基于卷积神经网络的毫米波传感器手势识别方法
CN108509910B (zh) * 2018-04-02 2021-09-28 重庆邮电大学 基于fmcw雷达信号的深度学习手势识别方法
CN108873715A (zh) * 2018-07-04 2018-11-23 深圳众厉电力科技有限公司 基于手势识别的智能家居控制系统
CN109040910A (zh) * 2018-07-11 2018-12-18 北海和思科技有限公司 一种基于信号时间判断并调节智能音箱调音系统及其控制方法
CN109271838B (zh) * 2018-07-19 2020-11-03 重庆邮电大学 一种基于fmcw雷达的三参数特征融合手势识别方法
CN108958490B (zh) * 2018-07-24 2021-09-17 Oppo（重庆）智能科技有限公司 电子装置及其手势识别方法、计算机可读存储介质
WO2020042121A1 (zh) * 2018-08-30 2020-03-05 Oppo广东移动通信有限公司 一种手势识别方法及终端、存储介质
CN108989687A (zh) * 2018-09-07 2018-12-11 北京小米移动软件有限公司 摄像头对焦方法及装置
CN109432568B (zh) * 2018-10-24 2021-08-06 Oppo广东移动通信有限公司 一种辅助睡眠的方法、装置、存储介质及终端
CN111376246A (zh) * 2018-12-27 2020-07-07 深圳市优必选科技有限公司 一种机器人操作控制方法、手势识别装置以及机器人
CN111382644A (zh) * 2018-12-29 2020-07-07 Tcl集团股份有限公司 手势识别方法、装置、终端设备及计算机可读存储介质
CN109710078A (zh) * 2019-01-14 2019-05-03 极目光(深圳)科技有限公司 智能控制方法、系统、接收设备及存储介质
WO2020147099A1 (zh) * 2019-01-18 2020-07-23 深圳大学 一种智能电子设备的水下操控系统及其操控方法
CN109871122B (zh) * 2019-01-18 2023-01-10 深圳大学 一种智能电子设备的水下操控系统及其操控方法
CN109905183B (zh) * 2019-02-19 2021-08-10 杨世惟 一种基于超声波传输的水下通信装置及水下通信方法
CN110597390B (zh) * 2019-09-12 2022-05-20 Oppo广东移动通信有限公司 控制方法、电子装置和存储介质
CN110796767A (zh) * 2019-10-31 2020-02-14 的卢技术有限公司 一种基于手势识别实现无按键汽车钥匙控制方法和系统
CN111103980B (zh) * 2019-12-18 2021-04-20 南京航空航天大学 一种基于fmcw的vr环境交互系统及方法
CN113050788A (zh) * 2019-12-26 2021-06-29 华为技术有限公司 一种声音播放的控制方法及装置
CN113096791A (zh) * 2020-01-08 2021-07-09 富士通株式会社 基于无线信号的人员识别装置、方法及系统
CN113359139A (zh) * 2020-03-03 2021-09-07 阿里巴巴集团控股有限公司 智能设备、开关装置、电子设备和交互设备
CN111382702B (zh) * 2020-03-09 2024-01-02 深圳大学 手势识别方法、装置、移动终端和存储介质
CN111475030B (zh) * 2020-05-25 2021-04-20 北京理工大学 一种利用近红外传感器的微手势识别方法
CN111624609A (zh) * 2020-06-05 2020-09-04 南京英锐创电子科技有限公司 超声波测距方法及装置
CN111693990B (zh) * 2020-06-09 2023-04-11 南京工业职业技术学院 一种基于24GHz雷达的简易手势识别方法
CN112153438B (zh) * 2020-09-22 2022-05-31 康佳集团股份有限公司 基于超声波的智能电视控制方法、智能电视及存储介质
CN115981454A (zh) * 2021-10-13 2023-04-18 华为技术有限公司 非接触式手势控制方法和电子设备
CN114118152A (zh) * 2021-11-26 2022-03-01 歌尔光学科技有限公司 一种头戴显示设备及其手势识别方法、装置和存储介质
CN116661656B (zh) * 2023-08-02 2024-03-12 安科优选(深圳)技术有限公司 画面交互方法及摄像展示系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508250A (zh) * 2011-10-26 2012-06-20 合肥寰景信息技术有限公司 超声波方式的无线动作识别方法及其装置
CN102866398A (zh) * 2012-09-21 2013-01-09 中国航天空气动力技术研究院 一种利用调频连续波雷达进行动目标识别的方法及系统
CN104898844A (zh) * 2015-01-23 2015-09-09 瑞声光电科技(常州)有限公司 基于超声波定位的手势识别与控制装置及识别与控制方法
CN105612483A (zh) * 2013-10-10 2016-05-25 高通股份有限公司 用于使用超声波束成形来进行多点触摸手势检测的系统和方法
CN105718064A (zh) * 2016-01-22 2016-06-29 南京大学 基于超声波的手势识别系统与方法
CN105744434A (zh) * 2016-02-25 2016-07-06 深圳市广懋创新科技有限公司 一种基于手势识别的智能音箱控制方法及系统
CN105760825A (zh) * 2016-02-02 2016-07-13 深圳市广懋创新科技有限公司 一种基于切比雪夫前向神经网络的手势识别系统和方法
CN105807923A (zh) * 2016-03-07 2016-07-27 中国科学院计算技术研究所 一种基于超声波的凌空手势识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872020B (zh) * 2010-06-18 2012-10-31 华南理工大学 基于频谱变换的水下运动目标定位导航方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508250A (zh) * 2011-10-26 2012-06-20 合肥寰景信息技术有限公司 超声波方式的无线动作识别方法及其装置
CN102866398A (zh) * 2012-09-21 2013-01-09 中国航天空气动力技术研究院 一种利用调频连续波雷达进行动目标识别的方法及系统
CN105612483A (zh) * 2013-10-10 2016-05-25 高通股份有限公司 用于使用超声波束成形来进行多点触摸手势检测的系统和方法
CN104898844A (zh) * 2015-01-23 2015-09-09 瑞声光电科技(常州)有限公司 基于超声波定位的手势识别与控制装置及识别与控制方法
CN105718064A (zh) * 2016-01-22 2016-06-29 南京大学 基于超声波的手势识别系统与方法
CN105760825A (zh) * 2016-02-02 2016-07-13 深圳市广懋创新科技有限公司 一种基于切比雪夫前向神经网络的手势识别系统和方法
CN105744434A (zh) * 2016-02-25 2016-07-06 深圳市广懋创新科技有限公司 一种基于手势识别的智能音箱控制方法及系统
CN105807923A (zh) * 2016-03-07 2016-07-27 中国科学院计算技术研究所 一种基于超声波的凌空手势识别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Short-Range FMCW Monopulse Radar for Hand-Gesture Sensing";Pavlo Molchanov等;《2015 IEEE Radar Conference (RadarCon)》;20150515;第I节和第II节，图4和图11 *
"Ultrasonic Doppler sensing in HCI";B.Raj等;《IEEE pervasive computing》;20120229;第11卷(第2期);第24-29页 *
"超声波简易手势检测系统的设计";杨敏等;《电子设计工程》;20160630;第24卷(第11期);第134-136页 *
"面向可穿戴设备的超声波手势识别方法";杨晓东等;《计算机科学》;20151031;第42卷(第10期);第20-24页 *

Also Published As

Publication number Publication date
CN106446801A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN106446801B (zh) 基于超声主动探测的微手势识别方法及系统
US11914792B2 (en) Systems and methods of tracking moving hands and recognizing gestural interactions
JP6816201B2 (ja) タイプに依存しないｒｆ信号表現
US20230205151A1 (en) Systems and methods of gestural interaction in a pervasive computing environment
Liu et al. M-gesture: Person-independent real-time in-air gesture recognition using commodity millimeter wave radar
KR102245190B1 (ko) 레이더-사용가능 센서 퓨전
EP3133474B1 (en) Gesture detector using ultrasound
US20110242305A1 (en) Immersive Multimedia Terminal
US10921866B2 (en) Access to high frame-rate radar data via a circular buffer
EP3497467A1 (en) Control system and control processing method and apparatus
CN111695420A (zh) 一种手势识别方法以及相关装置
CN103443649A (zh) 用于使用可听声音和超声进行源定位的系统、方法、设备和计算机可读媒体
CN113064483A (zh) 一种手势识别方法以及相关装置
CN115048951A (zh) 一种基于毫米波雷达的手势识别方法、装置及终端设备
CN116270056A (zh) 一种多模态轮椅控制系统
CN110764612B (zh) 超声波处理方法、装置、电子设备及计算机可读介质
Czuszynski et al. The passive operating mode of the linear optical gesture sensor
Ai et al. High precision gesture sensing via quantitative characterization of the Doppler effect
US20240119943A1 (en) Apparatus for implementing speaker diarization model, method of speaker diarization, and portable terminal including the apparatus
Saez et al. Ultrasound technology for touchless HMI system: finger tracker
Lv et al. Noncontact human-machine interaction for air-writing with ultrasound technology
Gong Enhancing touch interactions with passive finger acoustics
CN202288334U (zh) 触屏控制电影播放的超声诊断仪
Yang et al. UltraDigit: An ultrasound signal‐based in‐air digit input system via transfer learning
JP2004046391A (ja) 筆記具

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant