CN108089702B - 一种基于超声波的人机体感交互方法及系统 - Google Patents
一种基于超声波的人机体感交互方法及系统 Download PDFInfo
- Publication number
- CN108089702B CN108089702B CN201711292798.1A CN201711292798A CN108089702B CN 108089702 B CN108089702 B CN 108089702B CN 201711292798 A CN201711292798 A CN 201711292798A CN 108089702 B CN108089702 B CN 108089702B
- Authority
- CN
- China
- Prior art keywords
- target
- moving target
- information
- time delay
- ultrasonic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Abstract
本发明适用于无线感知与人机交互技术改进领域，提供了一种基于超声波的人机体感交互方法，包括：S1、用智能显示设备的麦克风收集目标移动反射回的超声波数据流信息；S2、将收集到的超声波数据信息进行分析处理获取精确检测移动目标的运动轨迹；S3、将获取的移动目标运动轨迹输出来完成人体感应交互。摒弃过多外设，只需利用智能显示设备中的扬声器和麦克风设置，不仅降低复杂度也大大降低了成本，通过利用超声波信号来估计目标的位置信息，实现了高精度、鲁棒性高的移动目标定位跟踪。
Description
技术领域
本发明属于无线感知与人机交互技术改进领域，尤其涉及一种基于超声波的人机体感交互方法。
背景技术
近年来，学术界和工业界都在倾向于无接触式活动识别的研究，这也大大地推动了这一方向的兴起和发展。随着Andriod和IOS等移动系统的兴起，搭载移动操作系统的非接触式手势操控技术发展势头迅猛。这一发展也是迎合目前社会发展的需要，作为日常上班的工薪阶层，一款能让他们与智能显示设备交互式地进行非接触式的体感游戏既能满足锻炼身体的需求也能满足他们对新事物的追求。但现如今，体感游戏设备的发展还存在诸多限制。
比如，基于计算机视觉的非接触式人机交互技术，该技术是目前市场比较流行的非接触式人机交互技术，也能给用户带来较好的体感游戏的体验，但是该技术对光照的依赖程度大，而且算法的复杂度较高，需要较多的系统资源。
再比如，基于WiFi的非接触式人机交互技术，由于该技术的成本低，易布控，利用资源率低等特点，一度受到学术界和工业界的大力追捧，但是该技术会过分依赖于网络环境的变化，如果网络环境不稳定，会造成用户在游戏中出现动作的延时识别，出现不友好的人机交互体验。
发明内容
本发明的目的在于提供一种基于超声波的人机体感交互方法，旨在解决上述的技术问题。
本发明是这样实现的，一种基于超声波的人机体感交互方法，所述人机体感交互方法包括以下步骤：
S1、用智能显示设备的麦克风收集目标移动反射回的超声波数据流信息；
S2、将收集到的超声波数据信息进行分析处理获取精确检测移动目标的运动轨迹；
S3、将获取的移动目标运动轨迹输出来完成人体感应交互。
本发明的进一步技术方案是：所述步骤S2中还包括以下步骤：
S21、对收集的超声波数据流信息进行数据滤波预处理；
S22、对预处理后的数据流信息利用相位变化及多普勒频移计算获取移动目标的相对距离。
本发明的进一步技术方案是：所述步骤S2中还包括以下步骤：
S23、在不同频率下获得相位变化信道脉冲响应的绝对距离。
本发明的进一步技术方案是：所述步骤S23中还包括以下步骤：
S231、运用反傅里叶变化计算获取路径到达的功率时延谱；
S232、根据功率时延谱对应的能量分布估算出目标移动的初始位置信息；
S233、根据相对距离信息与初始位置信息对移动目标定位与跟踪。
本发明的进一步技术方案是：所述步骤S1中还包括以下步骤：
S11、智能显示设备通过扬声器对目标发出超声波数据流。
本发明的另一目的在于提供一种基于超声波的人机体感交互系统，所述人机体感交互系统包括
数据收集模块，用于用智能显示设备的麦克风收集目标移动反射回的超声波数据流信息；
轨迹获取模块，用于将收集到的超声波数据信息进行分析处理获取精确检测移动目标的运动轨迹；
输出交互信息模块，用于将获取的移动目标运动轨迹输出来完成人体感应交互。
本发明的进一步技术方案是：所述轨迹获取模块中还包括
去除干扰单元，用于对收集的超声波数据流信息进行数据滤波预处理；
相对距离计算单元，用于对预处理后的数据流信息利用相位变化及多普勒频移计算获取移动目标的相对距离。
本发明的进一步技术方案是：所述轨迹获取模块中还包括
绝对距离计算单元，用于在不同频率下获得相位变化信道脉冲响应的绝对距离。
本发明的进一步技术方案是：所述绝对距离计算单元中还包括
功率时延谱获取单元，用于运用反傅里叶变化计算获取路径到达的功率时延谱；
初始位置获取单元，用于根据功率时延谱对应的能量分布估算出移动目标的初始位置信息；
定位跟踪单元，用于根据相对距离信息与初始位置信息对目标移动定位与跟踪。
本发明的进一步技术方案是：所述数据收集模块中还包括
超声波输出单元，用于智能显示设备通过扬声器对目标发出超声波数据流。
本发明的有益效果是：摒弃过多外设，只需利用智能显示设备中的扬声器和麦克风设置，不仅降低复杂度也大大降低了成本，通过利用超声波信号来估计目标的位置信息，实现了高精度、鲁棒性高的移动目标定位跟踪。
附图说明
图1是本发明实施例提供的基于超声波的人机体感交互方法的流程图。
图2是本发明实施例提供的基于超声波的人机体感交互系统的结构框图。
具体实施方式
图1示出了本发明提供的基于超声波的人机体感交互方法的流程图，其详述如下：
步骤S1，用智能显示设备的麦克风收集目标移动反射回的超声波数据流信息；一个嵌入有一个扬声器和两个及以上麦克风的智能显示设备，扬声器用来发射超声波数据流，麦克风用来接收被移动目标发射的超声波数据流，由智能显示设备的扬声器发射出预先定义的超声波，经移动目标的反射，被自身所带的麦克风所接收，进而传输到中心服务器或是智能处理终端，利用跟踪算法定位和跟踪移动目标。智能显示设备通过扬声器对目标发出超声波数据流。由显示设备的扬声器发出特定的超声波，规定发出的超声波频率在17000HZ以上，经过移动目标的反射得到具有相位变化的超声波数据流被自身所带的麦克风接收。
步骤S2，将收集到的超声波数据信息进行分析处理获取精确检测移动目标的运动轨迹；一个中心服务器或智能处理终端，用来处理从麦克风得到的超声波数据以确定移动目标的方向和位置信息。主要通过评估超声波信号的相位信息以及多普勒频移来估算移动目标的位置信息，利用不同路径、不同频率下的相位改变来获得不同路径的达到时间，进而通过反傅里叶变化得到功率时延谱，分析能量分布以得到被移动目标移动所反射的声音路径长度。S21、对收集的超声波数据流信息进行数据滤波预处理；利用低频滤波器，如巴特沃斯、级联积分梳妆滤波器等滤除数据流中的高频部分，保留经由移动目标反射的数据流信号。S22、对预处理后的数据流信息利用相位变化及多普勒频移计算获取移动目标的相对距离。由于接收到的数据流中是由动态和静态向量组成，首先需要利用极值检测或是端点检测的方法去除静态向量，进而根据动态向量的相位变化估算移动目标在一段时间内的路径长度变化，其计算方法如下：
其中，d(t)就是从扬声器经移动目标反射到麦克风的距离，vc是超声波声速，一般是343m/s，f是扬声器发出超声波的频率。于是，移动目标的移动距离就是(d(t)-d(0))/2。
S23、在不同频率下获得相位信道脉冲响应的绝对距离。首先，定义一个频率常量Δf，按照线性关系将最终的输出频率分成多个频率分量，即f＝f0+kΔf。接着在不同的频率分量下，对信号分量做反傅里叶变换得到功率时延谱，再经过线性转换得到总的功率时延谱。能量高越高，代表移动物体反射的信号强度越大，根据超声波信号经移动目标反射沿不同路径到达麦克风的时间不同，即TOA(Time of Arrival，到达时间)，可以通过计算反傅里叶结果中的具有最高能量的路径到达时间来估算出被移动目标反射的路径长度，进而通过功率时延谱中波峰的时延值计算出移动目标的初始位置。时延谱的计算公式为：
其中，k代表频率个数，Hp(k，t)代表麦克风接收到的超声信号。S231、运用反傅里叶变化计算获取路径到达的功率时延谱(如步骤S23)，通过移动目标反射的路径具有较高的能量，；S232、根据功率时延谱对应的能量分布估算出目标移动的初始位置信息(如步骤S23)；S233、根据相对距离信息与初始位置信息对目标移动定位与跟踪。利用两个麦克风和扬声器的位置建立一个坐标系，得到相对距离信息和初始位置信息后，可以得到移动目标的绝对位置信息，再根据几何关系计算出移动目标在坐标系中的位置，通过不断更新两个麦克风信号的路径长度来更新移动目标的位置，达到实时跟踪的目的。对接收的数据进行数据净化处理。首先，移除干扰点，接着，对数据进行滤波，滤除干扰信息，保留由移动目标反射部分的信号，为下面的定位与跟踪做准备。利用相位的变化来估算出相对路径变化长度，再根据反傅里叶变换的得到的功率时延谱估算移动目标的初始位置信息，结合相对路径和初始位置信息进行移动目标的定位与跟踪。
步骤S3，将获取的移动目标运动轨迹输出来完成人体感应交互。通过计算获得移动目标的运行轨迹，将运行轨迹进行简单的平滑处理后，对服务器输出，使得服务器利用轨迹信息完成指定的操作，来实现人体感应交互。
利用智能显示设备自带的扬声器发出预定义的超声波信号，进而被自带的两个及以上的麦克风所接收，通过挖掘这些超声波信号来精确检测移动目标的位置轨迹。主要通过评估麦克风接收的经移动目标反射的信号的相位变化及多普勒频移来计算出移动目标移动距，接着，在不同频率下，对相位运用反傅里叶变化计算出路径达到时间TOA(Time ofArrival，到达时间)，进而分析TOA所对应的能量分布来估算出被移动物体反射的信号路径长度，得到目标的初始位置信息。结合相对距离信息和初始位置信息，达到移动目标定位与跟踪的目的。该系统能够取得高精度、高鲁棒性的结果，在人机交互及其体感游戏等方面有很高的学术和应用价值。
如图2所示，本发明的另一目的在于提供一种基于超声波的人机体感交互系统，所述人机体感交互系统包括
数据收集模块，用于用智能显示设备的麦克风收集目标移动反射回的超声波数据流信息；
轨迹获取模块，用于将收集到的超声波数据信息进行分析处理获取精确检测移动目标的运动轨迹；
输出交互信息模块，用于将获取的移动目标运动轨迹输出来完成人体感应交互。
所述轨迹获取模块中还包括
去除干扰单元，用于对收集的超声波数据流信息进行数据滤波预处理；
相对距离计算单元，用于对预处理后的数据流信息利用相位变化及多普勒频移计算获取移动目标的相对距离。
所述轨迹获取模块中还包括
绝对距离计算单元，用于在不同频率下获得相位变化信道脉冲响应的绝对距离。
所述绝对距离计算单元中还包括
功率时延谱获取单元，用于运用反傅里叶变化计算获取路径到达的功率时延谱；
初始位置获取单元，用于根据功率时延谱对应的能量分布估算出目标移动的初始位置信息；
定位跟踪单元，用于根据相对距离信息与初始位置信息对目标移动定位与跟踪。
所述数据收集模块中还包括
超声波输出单元，用于智能显示设备通过扬声器对目标发出超声波数据流。
一个嵌入有一个扬声器和两个及以上麦克风的智能显示设备，扬声器用来发射超声波数据流，麦克风用来接收被移动目标发射的超声波数据流，以及一个中心服务器或智能处理终端，用来处理从麦克风得到的超声波数据以确定移动目标的方向和位置信息。主要通过评估超声波信号的相位信息以及多普勒频移来估算移动目标的位置信息，利用不同路径、不同频率下的相位改变来获得不同路径的达到时间，进而通过反傅里叶变化得到功率时延谱，分析能量分布以得到被移动目标移动所反射的声音路径长度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于超声波的人机体感交互方法，其特征在于，所述人机体感交互方法包括以下步骤：
S1、用智能显示设备的麦克风收集目标移动反射回的超声波数据流信息；
S2、将收集到的超声波数据信息进行分析处理获取精确检测移动目标的运动轨迹；
S3、将获取的移动目标运动轨迹输出来完成人体感应交互；
所述步骤S2中还包括以下步骤:
S23、在不同频率下获得相位变化信道脉冲响应的绝对距离：
按照线性关系将最终的输出频率分成多个频率分量；在不同的频率分量下，对信号分量做反傅里叶变换得到功率时延谱，再经过线性转换得到总的功率时延谱；通过计算反傅里叶结果中的具有最高能量的路径到达时间来估算出被移动目标反射的路径长度，进而通过功率时延谱中波峰的时延值计算出移动目标的初始位置，时延谱的计算公式为：
其中，k代表频率个数，Hp(k,t)代表麦克风接收到的超声信号。
2.根据权利要求1所述的人机体感交互方法，其特征在于，所述步骤S2中还包括以下步骤:
S21、对收集的超声波数据流信息进行数据滤波预处理；
S22、对预处理后的数据流信息利用相位变化及多普勒频移计算获取移动目标的相对距离。
3.根据权利要求2所述的人机体感交互方法，其特征在于，所述步骤S23中还包括以下步骤:
S231、运用反傅里叶变化计算获取路径到达的功率时延谱；
S232、根据功率时延谱对应的能量分布估算出目标移动的初始位置信息；
S233、根据相对距离信息与初始位置信息对目标移动定位与跟踪。
4.根据权利要求1-3任一项所述的人机体感交互方法，其特征在于，所述步骤S1中还包括以下步骤：
S11、智能显示设备通过扬声器对目标发出超声波数据流。
5.一种基于超声波的人机体感交互系统，其特征在于，所述人机体感交互系统包括数据收集模块，用于用智能显示设备的麦克风收集目标移动反射回的超声波数据流信息；
轨迹获取模块，用于将收集到的超声波数据信息进行分析处理获取精确检测移动目标的运动轨迹；
输出交互信息模块，用于将获取的移动目标运动轨迹输出来完成人体感应交互；
所述轨迹获取模块中还包括
绝对距离计算单元，用于在不同频率下获得相位变化信道脉冲响应的绝对距离；
按照线性关系将最终的输出频率分成多个频率分量；在不同的频率分量下，对信号分量做反傅里叶变换得到功率时延谱，再经过线性转换得到总的功率时延谱；通过计算反傅里叶结果中的具有最高能量的路径到达时间来估算出被移动目标反射的路径长度，进而通过功率时延谱中波峰的时延值计算出移动目标的初始位置，时延谱的计算公式为：其中，k代表频率个数，Hp(k,t)代表麦克风接收到的超声信号。
6.根据权利要求5所述的人机体感交互系统，其特征在于，所述轨迹获取模块中还包括去除干扰单元，用于对收集的超声波数据流信息进行数据滤波预处理；
相对距离计算单元，用于对预处理后的数据流信息利用相位变化及多普勒频移计算获取移动目标的相对距离。
7.根据权利要求6所述的人机体感交互系统，其特征在于，所述绝对距离计算单元中还包括
功率时延谱获取单元，用于运用反傅里叶变化计算获取路径到达的功率时延谱；
初始位置获取单元，用于根据功率时延谱对应的能量分布估算出目标移动的初始位置信息；
定位跟踪单元，用于根据相对距离信息与初始位置信息对目标移动定位与跟踪。
8.根据权利要求5-7任一项所述的人机体感交互系统，其特征在于，所述数据收集模块中还包括
超声波输出单元，用于智能显示设备通过扬声器对目标发出超声波数据流。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711292798.1A CN108089702B (zh) | 2017-12-07 | 2017-12-07 | 一种基于超声波的人机体感交互方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711292798.1A CN108089702B (zh) | 2017-12-07 | 2017-12-07 | 一种基于超声波的人机体感交互方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108089702A CN108089702A (zh) | 2018-05-29 |
| CN108089702B true CN108089702B (zh) | 2020-01-17 |
Family
ID=62174844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711292798.1A Active CN108089702B (zh) | 2017-12-07 | 2017-12-07 | 一种基于超声波的人机体感交互方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108089702B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210239831A1 (en) * | 2018-06-05 | 2021-08-05 | Google Llc | Systems and methods of ultrasonic sensing in smart devices |
| CN109871122B (zh) * | 2019-01-18 | 2023-01-10 | 深圳大学 | 一种智能电子设备的水下操控系统及其操控方法 |
| CN111282261B (zh) * | 2020-01-22 | 2023-08-08 | 京东方科技集团股份有限公司 | 人机交互方法及装置、体感游戏设备 |
| CN116126144B (zh) * | 2023-01-16 | 2023-08-22 | 上海物骐微电子有限公司 | 基于pdp的手势识别方法及装置、电子设备、存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101995435A (zh) * | 2010-11-05 | 2011-03-30 | 上海交通大学 | 基于瞬时相位变化度的损伤检测方法 |
| CN107332664A (zh) * | 2017-07-05 | 2017-11-07 | 厦门声戎科技有限公司 | 一种双层防护机制的隐蔽水声通信技术 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009115799A1 (en) * | 2008-03-18 | 2009-09-24 | Elliptic Laboratories As | Object and movement detection |
| CN102420793A (zh) * | 2011-11-24 | 2012-04-18 | 天津大学 | 一种数字通信接收机时间和载波频率同步的跟踪控制方法 |
| CN105260024B (zh) * | 2015-10-15 | 2018-01-26 | 广东欧珀移动通信有限公司 | 一种在屏幕上模拟手势运动轨迹的方法及装置 |
| CN105653035B (zh) * | 2015-12-31 | 2019-01-11 | 上海摩软通讯技术有限公司 | 虚拟现实控制方法及系统 |
-
2017
- 2017-12-07 CN CN201711292798.1A patent/CN108089702B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101995435A (zh) * | 2010-11-05 | 2011-03-30 | 上海交通大学 | 基于瞬时相位变化度的损伤检测方法 |
| CN107332664A (zh) * | 2017-07-05 | 2017-11-07 | 厦门声戎科技有限公司 | 一种双层防护机制的隐蔽水声通信技术 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108089702A (zh) | 2018-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108089702B (zh) | 一种基于超声波的人机体感交互方法及系统 | |
| CN105718064A (zh) | 基于超声波的手势识别系统与方法 | |
| CN104076331A (zh) | 一种七元麦克风阵列的声源定位方法 | |
| Ma et al. | A survey on wi-fi based contactless activity recognition | |
| CN110069134B (zh) | 一种利用无线电射频信号还原手部空中移动轨迹的方法 | |
| CN108297108B (zh) | 一种球形跟随机器人及其跟随控制方法 | |
| CN109188362B (zh) | 一种麦克风阵列声源定位信号处理方法 | |
| Chen et al. | Human behavior recognition using Wi-Fi CSI: Challenges and opportunities | |
| CN103278801A (zh) | 一种变电站噪声成像侦测装置及侦测计算方法 | |
| CN104459703A (zh) | 一种声纳测距方法和移动设备 | |
| CN105607042A (zh) | 用麦克风阵列时延估计定位声源的方法 | |
| CN109212481A (zh) | 一种利用麦克风阵列进行声源定位的方法 | |
| Pan et al. | Dynamic hand gesture detection and recognition with WiFi signal based on 1d-CNN | |
| CN113064483A (zh) | 一种手势识别方法以及相关装置 | |
| Ren et al. | Intelligent contactless gesture recognition using WLAN physical layer information | |
| Regani et al. | Handwriting tracking using 60 GHz mmWave radar | |
| Kong et al. | Gesture recognition system based on ultrasonic FMCW and ConvLSTM model | |
| Wang et al. | Enabling non-invasive and real-time human-machine interactions based on wireless sensing and fog computing | |
| KR100857248B1 (ko) | 이동체 위치 정보를 생성하는 장치 및 방법과 이동체위치를 인식하는 장치 및 방법 | |
| CN108107435B (zh) | 一种基于超声波的虚拟现实跟踪方法及系统 | |
| CN104182052A (zh) | 多媒体设备有效空间范围内快速交互方法 | |
| Liu et al. | Toward device-free micro-gesture tracking via accurate acoustic doppler-shift detection | |
| Abir et al. | Contactless human activity analysis: An overview of different modalities | |
| CN113287032A (zh) | 通过声音信号跟踪手的运动来控制设备 | |
| CN106779091B (zh) | 一种基于超限学习机及到达距离的周期振动信号定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |