CN109871122B - 一种智能电子设备的水下操控系统及其操控方法 - Google Patents
一种智能电子设备的水下操控系统及其操控方法 Download PDFInfo
- Publication number
- CN109871122B CN109871122B CN201910051401.2A CN201910051401A CN109871122B CN 109871122 B CN109871122 B CN 109871122B CN 201910051401 A CN201910051401 A CN 201910051401A CN 109871122 B CN109871122 B CN 109871122B
- Authority
- CN
- China
- Prior art keywords
- hand
- time
- electronic equipment
- intelligent electronic
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
本发明公开了一种智能电子设备的水下操控系统，其包括：发射端，用于在水中发射声音信号；接收端，用于接收反射回来的声音信号；位移判断模块，根据所述接收端接收到的反射回的声音信号信息，并从声音信号反射回的多条路径中识别从移动的手部反射回的路径，并判断手部是否有移动；测量模块，一旦判断模块判断出手部有移动，从频域和时域上对信号进行处理得出手部的移动轨迹；手势判断及操作映射模块，用手部的移动轨迹构建特定的手势，或者映射手部的移动轨迹到屏幕上对应的光标，从而与智能电子设备进行交互。还相应公开了操控方法。本发明在不需要改动设备本身的硬件的条件下，在水下实现对具有防水功能的智能手机、相机等电子设备的操控。
Description
技术领域
本发明涉及信息交互领域，尤其涉及一种智能电子设备的水下操控系统及其操控方法。
背景技术
如今，各种各样的电子设备已经成为了现代人生活中的一部分，如智能手机、平板电脑、运动相机等。为了吸引消费者，这些电子设备提供的功能也越来越多，甚至在某些场景下能够替代专业的设备。为了能应对更加多样复杂的环境，具备防水功能的电子设备也越来越多，成为未来电子设备最基本的功能之一。特别是具备了防水功能的智能手机等多功能终端，甚至可以替代在之前的专业使设备。例如使用具备了防水功能的智能手机进行水下拍照和水下录像。然而受限于成本，以及设备本身所使用的元器件的限制，大部分的防水的设备物理按键稀少，触控屏幕因其本身的电子特性并不能在水下使用，为防水设备增加物理按键会大幅增加制造难度进而增加制造成本。因此，现在具备防水功能的电子设备在水下不能很好的交互。
声纳是英文缩写“SONAR”的音译，其中文全称为：声音导航与测距，“SoundNavigation And Ranging”是一种利用声波在水下的传播特性，通过电声转换和信息处理，完成水下探测和通讯任务的系统。它有主动式和被动式两种类型，属于声学定位的范畴。现在的智能手机等电子设备，基本上具备多个扬声器或者麦克风，这两个元器件是组成声纳系统最基本的部分。声音信号在水中传播具备以下优势：声音在液体中的衰减弱，传播速度快，可以在水下很好的传播；大部分智能电子设备具备产生发送和接收声音的扬声器和麦克风，现存的防水设备可以无经改动即可使用本发明所述的系统；一般智能电子设备能够给扬声器能够发送的声音在22KHz以内，麦克风的采样率在48Khz以内，基本满足构建水中跟踪手部运动的声纳系统的需要。
发明内容
针对上述技术问题，本发明提出了一种智能电子设备的水下操控系统及其操控方法，可以通过扬声器在水中发送特定声音信号，麦克风接收反射回来的声音信号，通过计算手部移动时，从手部反射回的声音信号的相位差，计算手部到扬声器和麦克风的距离，进而定位和跟踪在水下手部的位置，具体采用了如下技术方案：
种智能电子设备的水下操控系统，其特征在于，其包括：
发射端，用于在水中发射声音信号；
接收端，用于接收反射回来的声音信号；
位移判断模块，根据所述接收端接收到的反射回的声音信号信息，并从声音信号反射回的多条路径中识别从移动的手部反射回的路径，并判断手部是否有移动；
测量模块，一旦判断模块判断出手部有移动，从频域和时域上对信号进行处理得出手部的移动轨迹；
手势判断及操作映射模块，用手部的移动轨迹构建特定的手势，或者映射手部的移动轨迹到屏幕上对应的光标，从而与智能电子设备进行交互。
进一步，所述发射端为智能电子设备具备的至少一个扬声器，所述接收端为智能电子设备具备的两个或多个麦克风。
进一步，还包括校正模块，校正手部的移动轨迹。
进一步，所述发射端发的声音信号为任意频率的正余弦信号，或者为通信系统使用的正交序列信号。
进一步，所述的接收端模块接收反射声音信号的同时处理已接收到的数据，自定义每次处理数据的长度。
进一步，位移判断模块判断手部是否移动，若手部移动，则可以开始手的移动轨迹进行跟踪。
进一步，测量模块通过对接收到的声音信号采用Cross-Correlation算法计算扬声器到手部、手部到麦克风的距离。
进一步，手势判断及操作映射模块设定特定的手势动作，当手部做该手势动作时表示特定的操作，或者跟踪手部的移动轨迹，电子设备的屏幕上用光标显示对应轨迹。
一种智能电子设备的水下操控方法，包括如下步骤：
S1：智能电子设备没入水中，其扬声器作为发射端开始发送自定义的声音信号，其麦克风作为接收端开始录音；
S2：测量模块中使用Cross-Correlation算法和CFAR算法计算扬声器开始发送声音信号的时间点，测量模块从该时间点起每录固定时间段的声音信号及处理数据；
S3：测量模块利用滑动相关算法计算扬声器到手部、手部到麦克风的距离；
S4：利用两个及以上的麦克风建立坐标系，计算在手部在上述坐标系中的具体位置；
S5：手势判断及操作映射模块用手部的移动轨迹构建特定的手势，或者映射手部的移动轨迹到屏幕上对应的光标，从而与智能电子设备进行交互。
进一步，Cross-Correlation算法对实时录制的声音进行实时分段处理，然后CFAR算法作用于上述分段处理后的每段声音数据，得到上述每段声音数据到达麦克风的时间点
与现有技术相比，本发明具有以下有益的技术效果：本发明利用声音信号在水中传播衰减弱，传播速度快的特点，通过比较不同时刻的声音信号的相位变化测量手部移动的轨迹；构建二维模型，利用两个或以上维度的距离变化跟踪手部指位置的变化进而在水中操控电子设备。因此，本发明不需要改动设备本身的硬件在水下对具有防水功能的智能手机、相机等电子设备进行操控，以解决市面上防水的智能手机在水下物理按键少以及触屏不能使用的问题。
附图说明
图1为本发明的操控系统的示意图。
图2为本发明水下操控方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的基于声纳技术的水下操控系统及方法适用于任何具备防水功能、且具备播放和录制声音功能的智能电子设备。
如图1所述，具备防水功能的智能电子设备位于水下，具体为智能手机、平板电脑、水下相机等电子设备。所述智能电子设备具有两个或以上的麦克风，一个或以上的扬声器。扬声器作为发射端发送声音信号，两个或以上的麦克风作为接收端接收手部反射的声音信号。本实施例中，智能电子设备的两个麦克风接收端位于不同位置，且两者之间距离已知。将智能电子设备置于水下，扬声器在水中发射可以用于测距的雷达声音信号，例如频率调制脉冲、相位编码脉冲等，扬声器发的声音信号为任意频率的正余弦信号，或者为通信系统使用的正交序列信号。两个麦克风接收反射回来的声音信号，同时处理已接收到的数据，自定义每次处理数据的长度。位移判断模块，根据从两个麦克风接收到的反射回的声音信号信息的相位差及两个麦克风之间的距离，并从声音信号反射回的多条路径中识别从移动的手部反射回的路径，并判断手部是否有移动，若手部移动，则可以开始对手部移动的位置进行定位。
位移判断模块包括两部分，一是判断接收信号的起始点，二是判断手是否移动。
判断接收信号的起始点包括：当麦克风接收到第一段从扬声器发射出的信号时，用原始信号对这段信号进行Cross-Correlation运算，Cross-Correlation算法如下：
其中f为第一段接收到的信号，g为元信号，N为元信号的长度，经过Cross-Correlation运算之后的结果中，每个极值点的横轴长度都对应发射信号进过一条反射路径所花费的时间。由于直视距没有经过任何反射导致信号衰减，所以最大的一个峰值点所对应的横轴即为发射信号经过直视距所花费的时间。又由于麦克风到扬声器的距离是固定的并且已知，所以只需要知道第一段信号经过Cross-Correlation算法后的最大值的峰值点的位置即可知道信号起始点的位置。
判断手是否移动包括：如上所述Cross-Correlation算法，若手未移动，由于周围物体都静止，即在N和N+1时刻，物体离发射和接受端的距离都不变，Cross-Correlation算法结果中N和N+1时刻的极值点位置都不变，两时刻的结果相减，理论上会得到长度为N且值全为零实际上值十分小的序列。此时计算这段序列的能量，结果为一个接近零的值。相反，若手移动，由于只有手反射的这条路径距离有变化，即N和N+1时刻Cross-Correlation算法得出的结果相减会有两个峰值，对应N和N+1时刻扬声器到手到麦克风的这段距离。最后，使用计算这段结果的能量，会大于一个阈值。所以我们可以使用这个阈值来判断手是否移动。
测量模块，一旦判断模块判断出手部有移动，从频域和时域上对信号进行处理得出手部的移动轨迹，通过对收取到的声音信号采用滑动相关的方法(Cross-Correlation)计算扬声器到手部到麦克风的距离，具体算法同如上所述的手是否移动的判断，Cross-Correlation算法结果的能量大于阈值，一直计算两个时刻相减的Cross-Correlation结果或许峰值的横轴位置，该位置即为扬声器到手到扬声器这段位置的距离。
由于有两个或以上麦克风存在于此系统中，虽然不同设备扬声器和麦克风的位置不同，但都可以根据扬声器和麦克风的位置建立直角坐标系结合两条道麦克风的距离算出手在直角坐标系中的位置。通过计算每个时刻手在直角坐标系中的位置进而得到手的实时移动轨迹。
手势判断及操作映射模块设定特定的手势姿势，用手部的移动轨迹构建特定的手势，当手部做该动作时表示特定的操作；或者跟踪手部的移动轨迹，映射手部的移动轨迹到屏幕上对应的光标，电子设备的屏幕上用光标显示对应轨迹，从而与智能电子设备进行交互。每一种手势对应一种独一无二的移动轨迹，因此可以用轨迹来判断用户做的事哪种手势。
本发明智能电子设备的水下操控方法，包括如下步骤：
S1：智能电子设备没入水中，扬声器作为发射端开始发送自定义的声音信号，其麦克风作为接收端开始录音；
S2：在测量模块中使用滑动相关算法计算扬声器开始发送声音信号的时间点，再通过CFAR算法找到开始的时间点，测量模块从该时间点起每录固定时间段的声音信号及处理数据；
S3：测量模块利用滑动相关算法计算扬声器到手部指到麦克风的距离；
S4：利用两个及以上的麦克风建立坐标系，计算在手部在上述坐标系中的具体位置；
S5：手势判断及操作映射模块用手部的移动轨迹构建特定的手势，或者映射手部的移动轨迹到屏幕上对应的光标，从而与智能电子设备进行交互。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
Claims (10)
1.一种智能电子设备的水下操控系统，其特征在于，其包括：
发射端，用于在水中发射声音信号；
接收端为智能电子设备具备的两个或多个麦克风，用于接收反射回来的声音信号；
位移判断模块，根据从两个麦克风接收到的反射回的声音信号信息的相位差及两个麦克风之间的距离，并从声音信号反射回的多条路径中识别从移动的手部反射回的路径，并判断手部是否有移动；其中，判断手是否移动包括：采用Cross-Correlation算法，若手未移动，由于周围物体都静止，则在N和N+1时刻，物体离发射端和接收端的距离都不变，Cross-Correlation算法结果中N和N+1时刻的极值点位置都不变，两时刻的结果相减，理论上会得到长度为N且值全为零实际上值十分小的序列，此时计算这段序列的能量，结果为一个接近零的值；相反，若手移动，由于只有手反射的这条路径距离有变化，则N和N+1时刻Cross-Correlation算法得出的结果相减会有两个峰值，对应N和N+1时刻扬声器到手和手到麦克风的这段距离，最后，使用计算这段结果的能量，会大于一个阈值，使用这个阈值判断手是否移动；
测量模块，一旦判断模块判断出手部有移动，从频域和时域上对信号进行处理得出手部的移动轨迹；
手势判断及操作映射模块，用手部的移动轨迹构建特定的手势，或者映射手部的移动轨迹到屏幕上对应的光标，从而与智能电子设备进行交互。
2.如权利要求1所述的水下操控系统，其特征在于：所述发射端为智能电子设备具备的至少一个扬声器。
3.如权利要求1所述的水下操控系统，其特征在于：还包括校正模块，校正手部的移动轨迹。
4.如权利要求1所述的水下操控系统，其特征在于：所述发射端发的声音信号为任意频率的正余弦信号，或者为通信系统使用的正交序列信号。
5.如权利要求1所述的水下操控系统，其特征在于：所述接收端接收反射声音信号的同时处理已接收到的数据，自定义每次处理数据的长度。
6.如权利要求1所述水下操控系统，其特征在于：位移判断模块判断手部是否移动，若手部移动，则可以开始手的移动轨迹进行跟踪。
7.如权利要求2所述水下操控系统，其特征在于：测量模块通过对接收到的声音信号采用Cross-Correlation算法计算扬声器到手部、手部到麦克风的距离。
8.如权利要求1所述水下操控系统，其特征在于：手势判断及操作映射模块设定特定的手势动作，当手部做该手势动作时表示特定的操作，或者跟踪手部的移动轨迹，电子设备的屏幕上用光标显示对应轨迹。
9.一种智能电子设备的水下操控方法，其特征在于，包括如下步骤：
S1：智能电子设备没入水中，其扬声器作为发射端开始发送自定义的声音信号，其麦克风作为接收端开始录音；
S2：位移判断模块根据从两个麦克风接收到的反射回的声音信号信息的相位差及两个麦克风之间的距离，并从声音信号反射回的多条路径中识别从移动的手部反射回的路径，确定手部有移动；其中，判断手是否移动包括：采用Cross-Correlation算法，若手未移动，由于周围物体都静止，则在N和N+1时刻，物体离发射端和接收端的距离都不变，Cross-Correlation算法结果中N和N+1时刻的极值点位置都不变，两时刻的结果相减，理论上会得到长度为N且值全为零实际上值十分小的序列，此时计算这段序列的能量，结果为一个接近零的值；相反，若手移动，由于只有手反射的这条路径距离有变化，则N和N+1时刻Cross-Correlation算法得出的结果相减会有两个峰值，对应N和N+1时刻扬声器到手和手到麦克风的这段距离，最后，使用计算这段结果的能量，会大于一个阈值，使用这个阈值判断手是否移动；
S3：测量模块中使用Cross-Correlation算法和CFAR算法计算扬声器开始发送声音信号的时间点，测量模块从该时间点起每录固定时间段的声音信号及处理数据；
S4：测量模块利用滑动相关算法计算扬声器到手部、手部到麦克风的距离；
S5：利用两个及以上的麦克风建立坐标系，计算在手部在上述坐标系中的具体位置；
S6：手势判断及操作映射模块用手部的移动轨迹构建特定的手势，或者映射手部的移动轨迹到屏幕上对应的光标，从而与智能电子设备进行交互。
10.如权利要求9所述的方法，其特征在于：Cross-Correlation算法对实时录制的声音进行实时分段处理，然后CFAR算法作用于上述分段处理后的每段声音数据，得到上述每段声音数据到达麦克风的时间点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910051401.2A CN109871122B (zh) | 2019-01-18 | 2019-01-18 | 一种智能电子设备的水下操控系统及其操控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910051401.2A CN109871122B (zh) | 2019-01-18 | 2019-01-18 | 一种智能电子设备的水下操控系统及其操控方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109871122A CN109871122A (zh) | 2019-06-11 |
| CN109871122B true CN109871122B (zh) | 2023-01-10 |
Family
ID=66917934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910051401.2A Active CN109871122B (zh) | 2019-01-18 | 2019-01-18 | 一种智能电子设备的水下操控系统及其操控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109871122B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114397963B (zh) * | 2022-01-18 | 2023-06-30 | 深圳大学 | 一种手势识别方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106446801A (zh) * | 2016-09-06 | 2017-02-22 | 清华大学 | 基于超声主动探测的微手势识别方法及系统 |
| CN107943300A (zh) * | 2017-12-07 | 2018-04-20 | 深圳大学 | 一种基于超声波的手势识别方法及系统 |
| CN108089702A (zh) * | 2017-12-07 | 2018-05-29 | 深圳大学 | 一种基于超声波的人机体感交互方法及系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8103011B2 (en) * | 2007-01-31 | 2012-01-24 | Microsoft Corporation | Signal detection using multiple detectors |
| WO2009115799A1 (en) * | 2008-03-18 | 2009-09-24 | Elliptic Laboratories As | Object and movement detection |
| US9810784B2 (en) * | 2010-11-16 | 2017-11-07 | Qualcomm Incorporated | System and method for object position estimation based on ultrasonic reflected signals |
| CN102135619A (zh) * | 2010-12-06 | 2011-07-27 | 王茂森 | 一种生物声纳探测装置及其探测方法 |
| CN102857598A (zh) * | 2012-09-19 | 2013-01-02 | 惠州Tcl移动通信有限公司 | 一种自动控制手机双麦克风消噪的方法及手机 |
| CN105629245B (zh) * | 2016-03-17 | 2017-12-15 | 天津海之星水下机器人有限公司 | 一种测高声纳装置 |
| CN107450724A (zh) * | 2017-07-31 | 2017-12-08 | 武汉大学 | 一种基于双声道音频多普勒效应的手势识别方法及系统 |
| CN108134863B (zh) * | 2017-12-26 | 2020-06-19 | 中山大学花都产业科技研究院 | 一种基于双统计量的改进型双端检测装置及检测方法 |
-
2019
- 2019-01-18 CN CN201910051401.2A patent/CN109871122B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106446801A (zh) * | 2016-09-06 | 2017-02-22 | 清华大学 | 基于超声主动探测的微手势识别方法及系统 |
| CN107943300A (zh) * | 2017-12-07 | 2018-04-20 | 深圳大学 | 一种基于超声波的手势识别方法及系统 |
| CN108089702A (zh) * | 2017-12-07 | 2018-05-29 | 深圳大学 | 一种基于超声波的人机体感交互方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109871122A (zh) | 2019-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10996742B2 (en) | Input device for AR/VR applications | |
| Nandakumar et al. | Fingerio: Using active sonar for fine-grained finger tracking | |
| KR101520554B1 (ko) | 연속파 초음파 신호들을 이용한 무접촉식 감지 및 제스쳐 인식 | |
| JP5865914B2 (ja) | 超音波反射信号に基づく物体位置推定のためのシステム及び方法 | |
| CN102257401B (zh) | 使用粒子滤波估计声源地点 | |
| CN105718064A (zh) | 基于超声波的手势识别系统与方法 | |
| US20160321917A1 (en) | Utilizing a mobile device as a motion-based controller | |
| CN110493690A (zh) | 一种声音采集方法及装置 | |
| CN104459703B (zh) | 一种声纳测距方法和移动设备 | |
| CN111683325B (zh) | 音效控制方法、装置、音箱、可穿戴设备及可读存储介质 | |
| US20090128513A1 (en) | Device identification method and apparatus, device information provision method and apparatus, and computer-readable recording mediums having recorded thereon programs for executing the device identification method and the device information provision method | |
| CN105208287A (zh) | 一种拍摄方法和装置 | |
| CN108924417A (zh) | 拍摄控制方法及相关产品 | |
| CN105959587A (zh) | 快门速度获取方法和装置 | |
| CN108957392A (zh) | 声源方向估计方法和装置 | |
| CN111007462A (zh) | 定位方法、定位装置、定位设备及电子设备 | |
| CN109871122B (zh) | 一种智能电子设备的水下操控系统及其操控方法 | |
| Nishimura et al. | A proposal on direction estimation between devices using acoustic waves | |
| CN109119097B (zh) | 基音检测方法、装置、存储介质及移动终端 | |
| EP4220637A1 (en) | Multi-channel audio signal acquisition method and apparatus, and system | |
| Cheng et al. | PD-FMCW: push the limit of device-free acoustic sensing using phase difference in FMCW | |
| EP3182734B1 (en) | Method for using a mobile device equipped with at least two microphones for determining the direction of loudspeakers in a setup of a surround sound system | |
| CN109792465A (zh) | 基于声学的设备间通信 | |
| CN112180377B (zh) | 一种非接触式的人机交互定位方法、追踪方法、终端以及可读存储介质 | |
| CN115407272A (zh) | 超声信号定位方法及装置、终端、计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |