CN110764612B - 超声波处理方法、装置、电子设备及计算机可读介质 - Google Patents

超声波处理方法、装置、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN110764612B
CN110764612B CN201910950755.0A CN201910950755A CN110764612B CN 110764612 B CN110764612 B CN 110764612B CN 201910950755 A CN201910950755 A CN 201910950755A CN 110764612 B CN110764612 B CN 110764612B
Authority
CN
China
Prior art keywords
ultrasonic
ultrasonic wave
transmitting device
electronic equipment
motion information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910950755.0A
Other languages
English (en)
Other versions
CN110764612A (zh
Inventor
彭冬炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN201910950755.0A priority Critical patent/CN110764612B/zh
Publication of CN110764612A publication Critical patent/CN110764612A/zh
Application granted granted Critical
Publication of CN110764612B publication Critical patent/CN110764612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/50—Systems of measurement, based on relative movement of the target
    • G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G01S15/872—Combination of several systems for attitude determination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本申请公开了一种超声波处理方法、装置、电子设备及计算机可读介质，涉及电子设备技术领域。所述方法包括：获取每个所述超声波接收装置采集的超声波信号，所述超声波信号为所述超声波发送装置发射的；根据每个所述超声波接收装置采集的超声波信号，确定所述超声波发送装置相对于每个所述超声波接收装置的运动信息；根据每个所述运动信息确定用户通过所述超声波发送装置输入的操作手势；根据所述操作手势控制所述电子设备执行对应的操作。因此，通过设置多个超声波接收装置，使得能后准确的检测到用户通过超声波发送装置输入的操作手势。

Description

超声波处理方法、装置、电子设备及计算机可读介质
技术领域
本申请涉及电子设备技术领域，更具体地，涉及一种超声波处理方法、装置、电子设备及计算机可读介质。
背景技术
随着电子设备的全面屏设计的流行，为了节省电子设备的顶部空间，已经有更多厂家在电子设备上采用超声波接近检测方案来代替传统的红外接近检测方案，从而检测用户的一些隔空操作的手势，但是，现有技术方案很难实现智能动作判断，准确性也差。
发明内容
本申请提出了一种超声波处理方法、装置、电子设备及计算机可读介质，以改善上述缺陷。
第一方面，本申请实施例提供了一种超声波处理方法，应用于超声操控系统的电子设备，所述超声操控系统还包括超声波发送装置，所述电子设备包括多个超声波接收装置，所述多个超声波装置安装在所述电子设备的壳体的不同位置处。所述方法包括：获取每个所述超声波接收装置采集的超声波信号，所述超声波信号为所述超声波发送装置发射的；根据每个所述超声波接收装置采集的超声波信号，确定所述超声波发送装置相对于每个所述超声波接收装置的运动信息；根据每个所述运动信息确定用户通过所述超声波发送装置输入的操作手势；根据所述操作手势控制所述电子设备执行对应的操作。
第二方面，本申请实施例还提供了一种超声波处理装置，应用于超声操控系统的电子设备，所述超声操控系统还包括超声波发送装置，所述电子设备包括多个超声波接收装置，所述多个超声波装置安装在所述电子设备的壳体的不同位置处。所述超声波处理装置包括：获取单元、运动确定单元、手势确定单元和操作单元。获取单元，用于获取每个所述超声波接收装置采集的超声波信号，所述超声波信号为所述超声波发送装置发射的。运动确定单元，用于根据每个所述超声波接收装置采集的超声波信号，确定所述超声波发送装置相对于每个所述超声波接收装置的运动信息。手势确定单元，用于根据每个所述运动信息确定用户通过所述超声波发送装置输入的操作手势。操作单元，用于根据所述操作手势控制所述电子设备执行对应的操作。
第三方面，本申请实施例还提供了一种电子设备，应用于超声操控系统，所述超声操控系统还包括超声波发送装置，所述电子设备包括：一个或多个处理器；存储器；超声波接收装置；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述方法。
第四方面，本申请实施例还提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。
本申请提供的超声波处理方法、装置、电子设备及计算机可读介质，应用于超声操控系统的电子设备，所述超声操控系统还包括超声波发送装置，所述电子设备包括多个超声波接收装置，所述多个超声波装置安装在所述电子设备的壳体的不同位置处。所述超声波发送装置发射的超声波信号被每个所述超声波接收装置采集，电子设备根据每个所述超声波接收装置采集的超声波信号，确定所述超声波发送装置相对于每个所述超声波接收装置的运动信息，根据每个所述运动信息确定用户通过所述超声波发送装置输入的操作手势，根据所述操作手势控制所述电子设备执行对应的操作。因此，通过设置多个超声波接收装置，使得能后准确的检测到用户通过超声波发送装置输入的操作手势。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的超声波的传播路径的示意图；
图2示出了本申请实施例提供的超声波发送、接收和数据处理流程示意图；
图3示出了本申请一实施例提供的一种超声操控系统的示意图；
图4示出了本申请一实施例提供的一种超声波处理方法的方法流程图；
图5示出了本申请实施例提供的多普勒效应的示意图；
图6示出了本申请另一实施例提供的一种超声操控系统的示意图；
图7示出了本申请另一实施例提供的一种超声波处理方法的方法流程图；
图8示出了本申请实施例提供的超声波接收装置的分布示意图；
图9示出了本申请实施例提供的数据频谱图；
图10示出了本申请实施例提供的预设模型的架构图；
图11示出了本申请又一实施例提供的一种超声波处理方法的方法流程图；
图12示出了本申请一实施例提供的超声笔操作的示意图；
图13示出了本申请另一实施例提供的超声笔操作的示意图；
图14示出了本申请又一实施例提供的超声笔操作的示意图；
图15示出了本申请再一实施例提供的超声笔操作的示意图；
图16示出了本申请一实施例提供的超声波处理装置的模块框图；
图17示出了本申请另一实施例提供的超声波处理装置的模块框图；
图18示出了本申请实施例用于执行根据本申请实施例的超声波处理方法的电子设备的框图；
图19示出了本申请实施例的用于保存或者携带实现根据本申请实施例的超声波处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
随着电子设备的全面屏设计的流行，为了节省电子设备的顶部空间，已经有更多厂家在电子设备上采用超声波接近监测方案来替代传统的红外接近检测方案。电子设备通过超射波发送装置(如听筒、喇叭、专用超声波发射器等)发射超声波，一部分超声波通过空气传播直达超声波接收装置(拾音器)(如图1的路径1)，一部分超声波通过空气传播与遮挡物形成反射后再到达超声波接收装置(如图1的路径2)。超声波接收装置拾取到的是直达声和反射声的叠加信号，如图2所示，经过A/D转换器转化为音频信号。通过算法处理音频数据得到遮挡物相对电子设备的运行状态，进而指导电子设备的显示屏处于亮屏状态或息屏状态。
具体地，当监听到电子设备处于通话状态时，可以通过电子设备内置的超声波发送装置发送固定频率的超声波信号，可以理解的是，超声波发送装置发送的超声波信号中的一部分通过空气传播直达超声波接收装置，另一部分通过空气传播与遮挡物形成反射后再达到超声波接收装置，超声波接收装置拾取到的是直达声和反射声的叠加信号，经过A/D转换为音频信号，其中，该遮挡物可以包括人脸、人体等。例如，如图2所示，通过电子设备内置的听筒、喇叭或者专用超声波发射器发送固定频率的超声波信号，超声波信号的一部分通过空气传播直达拾音器，另一部分通过空气传播与遮挡物形成反射后再达到拾音器，拾音器是去到的是直达声和反射声的叠加信号，经过A/D转换为音频信号。
通过上述的超声波检测的方法，用户能够通过超声波输入一些操作手势，以实现隔空操作的功能，但是，发明人在研究中发现，由于现在基于超声波的隔空手势的检测，都是将用户手部作为反射物体，通过电子设备采集到所发射的超声波信号经过用户手部反射后的超声波信号确定手部与电子设备之间的移动，从而确定用户输入的手势。然后，基于被动反射超声波信号的检测，会使得现有的技术方案很难实现智能动作判断，准确性也差。
为了克服基于被动反射超声波信号的检测隔空手势的缺陷，可以提供一种基于主动式的超声波信号的检测。如图3所示，提供了一种超声操控系统，该超声波操控系统包括电子设备100和超声波发送装置200，电子设备100包括超声波接收装置110，超声波发送装置200发射的超声波信号能够被电子设备100的超声波接收装置110接收。
对姿势命令的检测是基于相对于用户装置的屏幕的二维姿势、相对于所述用户装置的所述屏幕的三维姿势、围绕超声波发送装置主体的纵向轴线的滚动/旋转，及围绕所述超声波发送装置主体的所述纵向轴线的微小扭转。
获取沿着所述用户装置的x轴的所述超声波发送装置的位置；获取沿着所述用户装置的y轴的所述超声波发送装置的位置；获取沿着所述用户装置的z轴的所述超声波发送装置的位置；及基于所述所获取的位置而执行命令。接收超声信号；计算所述超声信号行进的距离；及基于所述所计算的距离而识别所述所获取的位置
但是，发明人在研究中发现，这种超声操控系统方案实现难度大，准确率低，是一种基于传统的方法，根据x、y、z轴的坐标实现简单姿势信息的判断，无法识别出更多复杂动作和图形。
因此，为了解决上述缺陷，如图4所示，本申请实施例提供了一种超声波处理方法，应用于图5所示的超声波操控系统。如图5所示，该超声波操控系统包括电子设备100和超声波发送装置200，电子设备100包括多个超声波接收装置110，所述多个超声波装置安装在所述电子设备的壳体的不同位置处。
具体地，超声波处理方法应用于超声操控系统的电子设备，该方法的执行主体是电子设备，则方法包括：S401至S404。
S401：获取每个所述超声波接收装置采集的超声波信号，所述超声波信号为所述超声波发送装置发射的。
于本申请实施例中，电子设备只设置超声波接收装置。当然，也可以同时设置超声波发送装置和超声波接收装置，但是在此种情况下，在执行本方法的时候，超声波发送装置不工作，即电子设备的超声波接收装置所接收的超声波信号是超声波发送装置发射的。
于本申请实施例中，电子设备可以基于请求执行控制所述超声波接收装置接收超声波信号。作为一种实施方式，可以是用户输入的触发请求。例如，用户通过操作电子设备的物理按键或者电子设备上的显示界面而输入的指令。
S402：根据每个所述超声波接收装置采集的超声波信号，确定所述超声波发送装置相对于每个所述超声波接收装置的运动信息。
作为一种实施方式，电子设备在获取到每个所述超声波接收装置采集的超声波信号，获取每个所述超声波接收装置采集的超声波信号对应的幅频数据，根据每个所述超声波接收装置采集的超声波信号的幅频数据确定所述超声波发送装置相对于每个所述超声波接收装置的运动信息。其中，运动信息可以是超声波发送装置与电子设备之间的间距变化。
具体地，可以是在超声波接收装置接收到超声波信号之后，对超声波信号进行模数转换，然后，得到数字信号，再对数字信号获取幅频数据。具体地，对该数字信号傅里叶变换，得到幅频数据。
通过分析该幅频数据能够确定电子设备与超声波发送装置之间的间距变化，则该间距变化包括间距增大、间距变小和间距不变。
具体地，在一些实施例中，在超声波发送装置相对超声波发送装置运动的过程中，其实质是电子设备相对超声波发送装置运动。根据多普勒效应，物体辐射的波长因为波源(电子设备)和观测者(物体)的相对运动而产生变化，多普勒效应公式如下：
f'为观察到的频率，f为发射源于该介质中的原始发射频率，v为波在该介质中的传播速度，v0为观察者移动速度，若接近发射源则前方运算符号为+号,反之则为-号；vs为发射源移动速度，若接近观察者则前方运算符号为-号，反之则为+号。
如图6所示，由多普勒效应公式可知，当发射源与观察者相对接近时，观察者接收到的信号频率会变大；当发射源与观察者相对远离时，观察者接收到的信号频率会变小；当发射源与观察者相对静止时，观察者接收到信号频率与发射源一致。
因此，通过检测电子设备与超声波发送装置之间的相对运动状态，能够确定电子设备与超声波发送装置之间的间距变化。具体地，相对运动状态包括相对接近、相对远离和相对静止，则在判定电子设备与超声波发送装置之间的相对运动状态为相对接近的时候，确定电子设备与超声波发送装置之间的间距变化为间距变小，在判定电子设备与超声波发送装置之间的相对运动状态为相对远离的时候，确定电子设备与超声波发送装置之间的间距变化为间距变大，在判定电子设备与超声波发送装置之间的相对运动状态为相对静止的时候，确定电子设备与超声波发送装置之间的间距变化为间距不变。
S403：根据每个所述运动信息确定用户通过所述超声波发送装置输入的操作手势。
具体地，可以是电子设备根据所述超声波发送装置相对于每个所述超声波接收装置的运动信息确定超声波发送装置相对于电子设备的整体运动信息，然后，在根据超声波发送装置相对于电子设备的整体运动信息确定用户通过所述超声波发送装置输入的操作手势。
作为一种实施方式，具体地，电子设备预先获取每个超声波接收装置在电子设备上的安装位置，从而，能够知道以电子设备为中心的世界坐标系下，每个超声波接收装置的世界坐标，通过前述的运动信息能够确定超声波发送装置相对于每个超声波接收装置之间的间距变化，从而能够确定超声波发送装置在以电子设备为中心的世界坐标系内的坐标系的变化。而电子设备为中心的世界坐标系的三个坐标轴分别为x轴、y轴和z轴，其中，x轴和y轴与电子设备的前盖或者后盖的表面平行，z轴与电子设备的前盖或者后盖的表面垂直。从而能够得到超声波发送装置相对电子设备在x轴、y轴和z轴方向的运动，进而确定超声波发送装置相对电子设备的整体运动信息。
作为一种实施方式，预先设置运动信息与操作手势的对应关系，该对应关系包括多个运动信息和多个操作手势，其中，每个运动信息对应一个操作手势，则在获取到超声波发送装置相对于电子设备的整体运动信息，在该对应关系内查找整体运动信息对应的操作手势。
另外，还可以通过预先设置的神经网络模型通过每个所述超声波接收装置采集的超声波信号，确定所述超声波发送装置相对于每个所述超声波接收装置的运动信息，以及该运动信息对应的操作手势。具体地，在后续实施例中介绍。
S404：根据所述操作手势控制所述电子设备执行对应的操作。
作为一种实施方式，可以预先设定操作手势与操作指令的手势对应关系，具体地，该手势对应关系内包括多个操作手势和多个操作指令，其中，每个操作手势对应一个操作指令。则在获取到用户通过所述超声波发送装置输入的操作手势之后，在该手势对应关系内查找通过所述超声波发送装置输入的操作手势对应的操作指令，并执行该操作指令对应的操作。
另外，考虑不同的操作手势，对应不同的应用程序甚至不同的界面下，该操作手势所对应的操作指令是不同的。则在手势对应关系中，操作手势对应至少一个操作指令，每个操作指令对应一个应用程序的标识，则在执行在该手势对应关系内查找通过所述超声波发送装置输入的操作手势对应的操作指令的时候，先确定电子设备当前在前台运行的应用程序的标识，在所述手势对应关系内查找通过所述超声波发送装置输入的操作手势对应的多个操作指令，在该多个操作指令内查找与当前在前台运行的应用程序的标识对应的操作指令，并执行该操作指令对应的操作。
请参阅图7，本申请实施例提供了一种超声波处理方法，应用于上述的超声操控系统。具体地，该方法包括：S701至S704。
S701：获取每个所述超声波接收装置采集的超声波信号，所述超声波信号为所述超声波发送装置发射的。
于本申请实施例中，超声波发送装置可以是超声笔，所述电子设备的屏幕安装在所述前盖上，所述前盖包括顶部区域和底部区域，所述多个超声波接收装置分居所述顶部区域和底部区域。具体地，可以是多个超声波接收装置等量分居在顶部区域和底部区域。例如，超声波接收装置的数量为num，则num/2数量的超声波接收装置位于顶部区域，另外num/2数量的超声波接收装置位于底部区域。
由于多个超声波接收装置分居电子设备的顶部区域和底部区域，能够提高电子设备通过超声波发送装置与电子设备之间的运动信息的检测范围，并且，本申请可以根据每个所述运动信息确定用户通过所述超声波发送装置输入的操作手势，因此，多个超声波接收装置的间隔比较大，能够提高超声波发送装置在移动的时候，相对每个超声波接收装置的运动信息的差异性，提高用户能够通过超声波发送装置输入的操作手势的多样性。
作为一种实施方式，如图8所示，所述多个超声波接收装置的数量为4个，依次为第一超声波接收装置111、第二超声波接收装置112、第三超声波接收装置113和第四超声波接收装置114。其中，所述第一超声波接收装置111位于所述顶部区域的一个顶点处，所述第二超声波接收装置112位于所述顶部区域的另一个顶点处，所述第三超声波接收装置113位于所述底部区域的一个顶点处，所述第四超声波接收装置114位于所述底部区域的另一个顶点处。
则四个超声接收装置分居电子设备的前盖的四个顶点处，而电子设备的屏幕位于前盖上，从而方便用户能够通过超声波发送装置输入操作手势的时候，观察电子设备的屏幕上显示的内容，从而实现通过超声波发送装置与电子设备的屏幕进行交互。
另外，四个超声接收装置分居电子设备的前盖的四个顶点处，能够提高电子设备通过超声波发送装置与电子设备之间的运动信息的检测范围以及增大用户能够通过超声波发送装置输入的操作手势的多样性。
于本申请实施例中，电子设备可以基于检测请求执行控制所述超声波接收装置接收超声波信号，其中，该检测请求可以是用户通过超声笔输入的，作为一种实施方式，用户手持超声笔敲击电子设备的侧边，从而能够被电子设备检测到超声笔对电子设备的侧边的敲击，具体地，可以是连续敲击的次数大于指定数值的时候，判定获取到检测请求。
具体地，电子设备的壳体包括前盖、后盖和中框，中框连接所述前盖和后盖，前盖上设置有屏幕，中框包括顶边、底边和侧边，顶边为电子设备的顶部，底边位于电子设备的底部。侧边设置有压力传感器，用户的按压、敲击等操作，能够被压力传感器检测到，则电子设备获取用户通过超声笔在电子设备的侧边输入的压力值，确定所述压力值对应的压力面积是否为指定面积，如果是指定面积，则判定该压力值与超声笔对应，其中，该指定面积与超声笔的轮廓匹配。然后，判定接收到检测请求，从而执行获取每个所述超声波接收装置采集的超声波信号的操作。
另外，还可以是电子设备获取用户通过超声笔在电子设备的侧边输入的压力值，确定所述压力值对应的压力面积是否为指定面积，如果是指定面积，检测在预设时间段内获取的压力面积为指定面积的压力值的次数，如果该次数满足次数要求，则判定接收到检测请求。其中，次数满足次数要求可以是该次数为指定次数，其中，该指定次数可以是根据实际需求而设定的，例如，该指定次数可以是2，该预设时间段可以是1秒。则用户手持超声笔连续敲击电子设备的侧边，从而，输入了检测请求至电子设备，电子设备根据该检测请求执行获取每个所述超声波接收装置采集的超声波信号的操作。
S702：获取每个所述超声波信号的特征值。
作为一种实施方式，超声波信号的特征值可以是超声波信号的幅频特性，根据多普勒效应原理，由于超声波发送装置和超声波接收装置之间在相对运动的时候，会导致超声波接收装置接收的超声波信号的幅频特性产生一定变化，因此，可以将每个所述超声波信号的幅频特性作为超声波信号的特征值。
作为另一种实施方式，特征值为多普勒效应面积差、多普勒效应面积和以及超声波幅度变化率绝对值中的至少一种。
在一些实施方式中，特征值包括多普勒效应面积差时，获取超声波信号的特征值的实施方式，可以包括：
获取所述超声波发送装置发送的超声波信号的发送频率，以及所述超声波接收装置接收的超声波信号的频率范围；基于所述发送频率和所述频率范围确定第一频率变化区间以及第二频率变化区间；根据所述第一频率变化区间和所述第一频率变化区间对应的第一强度变化曲线，计算获得第一面积；根据所述第二频率变化区间和所述第二频率变化区间对应的第二强度变化曲线，计算获得第二面积；计算所述第一面积和所述第二面积之差，得到所述多普勒效应面积差。
在一些实施方式中，电子设备可以获取超声波发送装置发送的超声波信号的发送频率，以及获取其内置的超声波接收装置接收的超声波信号的频率范围。其中，该超声波发送装置发送的超声波信号的发送频率可以是固定频率，因此，电子设备可以基于已设定的超声波发送装置的超声波信号的发送参数获取该发送频率。另外，该超声波接收装置接收的超声波信号的频率范围和电子设备与物体的相对运动关系相关，因此，可以获取大多数用户在使用电子设备的过程中，其运动速度的变化范围，并根据其运动速度的变化范围确定超声波接收装置接收的超声波信号的频率范围。
具体地，基于多普勒效应公式可知，f’为超声波接收模块接收到的物体反射的超声波信号的频率。f为超声波发送模块发送的超声波信号的发送频率。v为声音在空气中的传播速度，取340m/s。假设电子设备是静止的，则vs＝0。如果物体相对终端的运动速度为v01，则多普勒效应公式中物体的移动速度为v0＝2v01。假设超声波发送模块发送的超声波信号的发送频率为ultrasonic＝22500Hz，超声波接收模块接收的超声波信号的频率范围为[22420Hz,22580Hz]，则根据多普勒效应能够识别到的物体与电子设备最大相对速度为：
若进行傅里叶变换(fast Fourier Transform，DFT)变换的数据长度为fftlen＝8192，音频数据采样率为fs＝48kHz，则DFT结果的频率分辨率为：
根据式(2)和(3)可以确定能够识别到的物体与电子设备最小相对速度为：
因此，在本实施例中，可以基于历史数据等获取电子设备与物体的最大相对速度和最小相对速度，并通过最大相对速度、最小相对速度以及上述公式反向推导获取该超声波接收装置接收的超声波信号的频率范围。
在一些实施方式中，在获取超声波发送装置发送的超声波信号的发送频率以及超声波接收装置接收到的超声波信号的频率范围后，可以基于该发送频率和频率范围确定频率变化区间。例如，如图9所示，图9示出了本申请实施例提供的数据频谱图，可以是音频数据频谱图。频谱为频率谱的简称，是频率的分布曲线，对于离散的音频数据采样点，可以通过离散傅里叶变换获得，于图9中，其为一段音频数据经过离散傅里叶变换得到的频谱图，横坐标的每个点各自对应一个现实中的频率值，纵坐标代表该频率的信号强度。
实际频率fn与幅频向量X的第n个数据之间的关系如下：
其中，fs为采样率，fftlen为数据长度。则X[n]代表实际频率fn的强度。
则考虑的关键频率在幅频向量中的序号为：
则如图9所示，横坐标n表示的是频点，纵坐标x表示的是各个频点对应的幅值，n3为超声波发送装置发送的超声波信号的发送频率，记为point_mid，F1为超声波发送装置发送的超声波信号的发送频率对应的信号强度，记为ultrspnic_amp，n1为超声波接收装置接收到的超声波信号的频率范围的下限频率，记为point_low，n5为超声波接收装置接收到的超声波信号的频率范围的上限频率，记为point_up，[n2,n4]为超声波接收装置接收到的超声波信号的中间频率范围，其中，n2为该中间频率范围的下限频率，记为point_mid_low，n4为该中间频率范围的上限频率，记为point_mid_up。则可以确定该频率变化区间为从point_low到point_mid_low的第一频率变化区间以及从point_mid_up到point_up的第二频率变化区间。
在一些实施方式中，基于发送频率和频率范围可以确定第一频率变化区间Q1和第二频率变化区间Q2。例如，如图9所示，该第一频率变化区间为n1到n2，第二频率变化区间为n4到n5。
在一些实施方式中，在获取频率变化区间后，可以基于频谱图获取该频率变化区间对应的强度变化曲线，并基于该频率变化区间和频率变化区间对应的强度变化曲线，计算该超声波信号在传输过程中的多普勒效应面积差。
具体地，在获取第一频率变化区间后，可以基于频谱图获取该第一频率变化区间对应的第一强度变化曲线，并基于该第一频率变化区间和第一频率变化区间对应的第一强度变化曲线，计算该超声波信号在传输过程中的第一面积，同时，在获取第二频率变化区间后，可以基于频谱图获取该第二频率变化区间对应的第二强度变化曲线，并基于该第二频率变化区间和第二频率变化区间对应的第二强度变化曲线，计算该超声波信号在传输过程中的第二面积。进一步地，计算第一面积和第二面积之差，例如，通过第一面积减去第二面积或者通过第二面积减去第一面积，获得该超声波信号在传输过程中的多普勒效应面积差。
在一些实施方式中，特征值包括多普勒效应面积和时，获取超声波信号的特征值的实施方式，可以包括：
获取所述超声波发送装置发送的超声波信号的发送频率，以及所述超声波接收装置接收的超声波信号的频率范围；基于所述发送频率和所述频率范围确定第一频率变化区间以及第二频率变化区间；根据所述第一频率变化区间和所述第一频率变化区间对应的第一强度变化曲线，计算获得第一面积；根据所述第二频率变化区间和所述第二频率变化区间对应的第二强度变化曲线，计算获得第二面积；计算所述第一面积和所述第二面积之和，得到所述超声波信号在传输过程中的所述多普勒效应面积和。
其中，获取多普勒效应面积和的过程可以与获取多普勒效应面积差的过程大致相同，在得到第一面积以及第二面积后，则可以计算第一面积与第二面积之和，得到多普勒效应面积和。当第一特征值同时包括多普勒效应面积差以及多普勒效应面积和时，则可以在计算得到上述第一面积以及第二面积之和，计算多普勒效应面积差且计算多普勒效应面积和。
在一些实施方式中，特征值包括超声波幅度变化率绝对值时，获取超声波信号的特征值的实施方式，可以包括：
获取所述超声波接收模块接收的超声波信号对应的第一超声波幅值，以及上一时刻的所述超声波接收模块接收的超声波信号对应的第二超声波幅值；获取所述第一超声波幅值与所述第二超声波幅值的差值的绝对值，得到所述超声波信号在传输过程中的超声波幅度变化率绝对值。
其中，第一特征值包括超声波幅度变化率绝对值时，电子设备可以采集当前时刻超声波接收模块接收的超声波信号对应的第一超声波幅值，并获取上一时刻的超声波接收模块接收的超声波信号的第二超声波幅值。其中，当前时刻与上一时刻的具体间隔不不作为限定，例如，可以为0.5S，0.75S等。在一些实施方式中，电子设备通过超声波接收模块接收到超声波信号时，可以将每个时刻接收的超声波信号的幅值进行记录。
电子设备在获取到上述第一超声波幅值以及第二超声波幅值后，则可以计算第一超声波幅值与第二超声波幅值的差值，并取该差值的绝对值，从而得到超声波信号在传输过程中的超声波幅度变化率绝对值。
作为一种实施方式，可以将多普勒效应面积差记为第一特征值，将多普勒效应面积记为第二特征值，将超声波幅度变化率绝对值记为第三特征值。
由于物体在接近和远离手机时会产生多普勒效应，即物体趋近手机时麦克接收到的超声波信号频率会变大，此时“多普勒效应面积差”由绝对值很小的值变化至很大的正值，“多普勒效应面积和”，由较小的平稳的正值变化至很大的正值，“超声波幅度变化率绝对值”由较小的平稳的正值变化至很大的正值；物体远离手机时麦克接收到的超声波信号频率会减小，此时“多普勒效应面积差”由绝对值很小的值变化至绝对值很大的的负值，“多普勒效应面积和”，由较小的平稳的正值变化至很大的正值，“超声波幅度变化率绝对值”由较小的平稳的正值变化至很大的正值。本申请实施例都是在频域上进行的，从而可以很容易地去掉环境中低频噪声的干扰。作为一种实施方式，可以对超声波接收装置采集的超声波信号进行分帧处理，每一帧都能得到前面提到的的三个特征值。
S703：将每个所述超声波信号的特征值输入已训练的预设模型，得到用户通过所述超声波发送装置输入的操作手势。
所述预设模型用于对获取的特征值分析，以得到所述超声波发送装置相对于每个所述超声波接收装置的运动信息，并根据每个运动信息确定多个运动信息对应的操作手势。具体地，预设模型能够根据每个超声波接收装置的运动信息，确定多个运动信息对应的操作手势属于多个操作手势的概率，将概率值最高的操作手势作为多个运动信息对应的操作手势。
具体地，预设模型的功能可以通过预先训练的方式而学习获得，则具体地，将每个所述超声波信号的特征值输入已训练的预设模型之前，该方法还包括：获取训练数据集，所述训练数据集包括被标注有所述超声波发送装置相对于每个所述超声波接收装置的运动信息的特征值；根据所述训练数据集对初始模型训练，得到已训练的预设模型，所述已训练的预设模型能够根据特征值确定该特征值对应的运动信息，并确定该运动信息对应的待确认操作手势的概率值，将概率值最高的待确认操作手势作为该特征值对应的操作手势。
其中，初始模型可以为卷积神经网络、深度神经网络、递归神经网络、神经网络等，在此不做限定。
如图10所示，图10示出了根据全连接的神经网络进行训练的过程。如图10所示，训练数据集合中一组数据中的第一特征值、第二特征值以及第三特征值作为神经网络的输入样本，一组数据中标注的电子设备相对超声波发送装置的运动信息可以作为神经网络的输出样本，全连接的神经网络通过输入层、隐藏层以输出层输出的结果为操作手势，如图10所列举的翻页、手势和画图等。从而，能够实现对电子设备相对超声波发送装置的运动信息的确定，并根据所确定的运动信息确定操作手势的训练，具体地，该运动信息可以包括靠近的移动状态、远离的移动状态和静止状态。
具体地，该初始模型可以包括特征分析器和分类器，其中，该特征分析器用于根据每个样本数据对应的运动信息而训练得到，则训练好的特征分析器能够根据每个所述超声波信号的特征值，得到所述超声波发送装置相对于每个所述超声波接收装置的运动信息。
分类器用于确定该运动信息对应的待确认操作手势的概率值，将概率值最高的待确认操作手势作为该特征值对应的操作手势。其中，训练分类器的样本数据为预先采集的运动信息所对应的操作手势，则训练好的分类器能够根据所述超声波发送装置相对于每个所述超声波接收装置的运动信息确定所对应的各个预设操作手势的概率，将概率值最高的操作手势作为运动信息对应的操作手势。
例如，用户手持超声笔从电子设备的底端移动至顶端，预设模型判定该运动信息对应的第一操作手势的概率为80％和第二操作手势的概率为30％，其中，第一操作手势为上滑轨迹，第二操作手势为半圆轨迹，则第一操作手势的概率最高，则可以判定用户手持超声笔从电子设备的底端移动至顶端对应的操作手势为上滑轨迹。
另外，在如图10所示的神经网络中，输入层中的神经元与隐藏层的神经元全连接，隐藏层的神经元与输出层的神经元全连接，从而能够有效提取不同粒度的潜在特征。并且隐藏层数目可以为多个，从而能更好地拟合非线性关系，使得训练得到的预设模型更加准确。
可以理解的，对预设模型的训练过程可以由电子设备完成，也可以不由电子设备完成。当训练过程不由电子设备完成时，则电子设备可以只是作为直接使用者，也可以是间接使用者，即电子设备可以将第一特征值、第二特征值以及第三特征值发送至存储有预设模型的服务器，从服务器获取电子设备相对物体的移动状态。
在一些实施方式中，训练得到的预设模型可以存储于电子设备本地，该训练得到的预设模型也可以在与电子设备通信连接的服务器，将预设模型存储在服务器的方式，可以减少占用电子设备的存储空间，提升电子设备运行效率。
S704：根据所述操作手势控制所述电子设备执行对应的操作。
请参阅图11，本申请实施例提供了一种超声波处理方法，应用于上述的超声操控系统。具体地，该方法包括：S1101至S1105。
S1101：获取每个所述超声波接收装置采集的超声波信号，所述超声波信号为所述超声波发送装置发射的。
S1102：根据每个所述超声波接收装置采集的超声波信号，确定所述超声波发送装置相对于每个所述超声波接收装置的运动信息。
S1103：确定每个所述超声波接收装置相对于所述超声波发送装置的相对运动状态。
其中，相对运动状态包括相对接近、相对远离和相对静止，具体地，确定方式可以参考前述实施例，在此不再赘述。
S1104：若根据每个所述相对运动状态确定所述超声波发送装置相对于所述电子设备处于平移运动状态，则确定用户通过所述超声波发送装置输入的操作手势为翻页手势。
作为一种实施方式，以上述的四个超声波接收装置为例，如果，电子设备根据第一超声波接收装置111和第三超声波接收装置113所获取的超声波发送装置发射的超声波的信号，确定超声波发送装置与第一超声波接收装置111和第三超声波接收装置113的相对运动状态都是相对接近，电子设备根据第二超声波接收装置112和第四超声波接收装置114所获取的超声波发送装置发射的超声波的信号，确定超声波发送装置与第二超声波接收装置112和第四超声波接收装置114的相对运动状态都是相对远离，则可以判定超声波发送装置正在从电子设备的右侧向左侧滑动，从而确定该电子设备处于平移运动状态，即确定用户通过所述超声波发送装置输入的操作手势为翻页手势。另外，上述的操作手势的确定还可以参考前述实施例，在此不再赘述。
S1105：根据所述操作手势控制所述电子设备执行对应的操作。
在确定操作手势为翻页手势的时候，电子设备控制当前所显示的页面的相邻的页面显示，即下一个页面或上一个页面显示，也就是说，响应所述翻页手势，将所述电子设备当前显示的页面切换为所述页面的下一页。具体地，参考前述实施例，还可以是电子设备在确定操作手势为翻页手势之后，确定当前运行的应用程序，确定翻页手势针对该当前运行的应用程序的操作指令。
下面以一个实例介绍通过超声波发送装置操作电子设备的具体过程。
例如，该超声波发送装置为超声笔，用户手持超声笔靠近电子设备的屏幕，并且在电子设备的屏幕前的空间内移动，电子设备的超声波接收装置能够采集到超声笔发出的超声波信号。具体地，可以是在用户通过超声笔输入一个指令的时候，电子设备将该指令作为检测指令，以控制超声波接收装置采集超声笔发送的超声波信号。作为一种实施方式，用户通过超声笔输入检测指令的方式可以参考上述实施例，即用户手持超声笔连续用超声笔敲击电子设备的侧边，例如，可以是双击。然后，电子设备启动控制超声波接收装置采集超声笔发送的超声波信号的功能，即电子设备进入超声笔控制模式。
假设电子设备当前运行的应用程序为画图软件，在该电子设备的屏幕上显示该画图软件对应的操作界面，如图12所示，在该操作界面上，电子设备所识别的用户通过超声笔输入的手势的能够对应在该操作界面上显示与该手势对应的图形，如图12所示，用户通过该超声笔输入画圆的手势，即手持超声笔在屏幕前的空间内画一个圆圈，则对应在电子设备的操作界面上也显示一个圆圈，由此，用户能够超声笔隔空在屏幕上画一个圆圈，并且，屏幕前的空间足够大，能够给用户提供足够大的操作空间。图12中的虚线表示用户手持超声笔的滑动轨迹，完成后的图形如图13所示。
则在图13所显示的界面之前，用户手持超声笔在屏幕前平行移动，例如，手持超声笔的运动方向与电子设备的屏幕的X轴方向平行，则电子设备能够确定超声波发送装置相对于所述电子设备处于平移运动状态，从而电子设备确定用户通过超声笔输入的操作手势为翻页手势，则电子设备确定当前运行的应用程序为画图软件，则确定翻页手势对应的操作指定为画图软件的翻页操作，具体地，可以是用户在图12对应的操作界面内，绘图软件处于绘图模式，然后，完成图形绘制的时候，通过超声笔输入确认指令，则电子设备在接收到确认指令之后，判定绘图完成，然后，进入非绘图模式。其中，超声笔输入确认指令的方式，可以是用户手持超声笔在电子设备的侧边敲击，其中，用于输入确认指令的敲击操作与上述用于输入检测指令的敲击操作不同，例如，用于输入检测指令的敲击操作为连续敲击两次，用于输入确认指令的敲击操作为敲击一次，并且，用于输入确认指令的敲击操作的敲击力度大于用于输入检测指令的敲击操作的力度。
则在非绘图模式下，用户通过超声笔输入的操作手势不会被认为是绘图时的图像绘制轨迹，如图14所示，则用户操作超声笔从电子设备的右侧向左侧移动的时候，会将图13所示的界面的下一页在屏幕上显示，即替换图13所示的界面。
作为一种实施方式，用户手持超声笔输入翻译手势的时候，电子设备的页面的切换跟随操作手势而切换，如图15所示，假设图13所示的页面为第一页面，图14所示的页面为第二页面，则随着用户手持超声笔的移动，第一页面逐渐消失，但是并没有完全消失，即第一页面的第一部分内容被电子设备刷新在屏幕上显示，其中，所显示的第一页面的内容与超声笔的移动相关，第二页面的第二部分内容被电子设备刷新在屏幕上显示，则如图15所示，电子设备所显示的内容是由第一页面的第一部分和第二页面的第二部分构成的，随着，用户手持超声笔的继续移动，第一部分所占屏幕的面积减少，第二部分所占屏幕的面积增加，而当超声笔被移动至图14所示的位置时，电子设备的屏幕上显示的内容为图14所对应的第二页面。
请参阅图16，其示出了本申请实施例提供的一种超声波处理装置的结构框图，该超声波处理装置1600可以包括：获取单元1601、运动确定单元1602、手势确定单元1603和操作单元1604。
获取单元1601，用于获取每个所述超声波接收装置采集的超声波信号，所述超声波信号为所述超声波发送装置发射的。
运动确定单元1602，用于根据每个所述超声波接收装置采集的超声波信号，确定所述超声波发送装置相对于每个所述超声波接收装置的运动信息。
手势确定单元1603，用于根据每个所述运动信息确定用户通过所述超声波发送装置输入的操作手势。
操作单元1604，用于根据所述操作手势控制所述电子设备执行对应的操作。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
请参阅图17，其示出了本申请实施例提供的一种超声波处理装置的结构框图，该超声波处理装置1700可以包括：获取单元1701、训练单元1702、特征确定单元1703、操作手势确定单元1704和操作单元1705。
获取单元1701，用于获取每个所述超声波接收装置采集的超声波信号，所述超声波信号为所述超声波发送装置发射的。
训练单元1702，用于获取训练数据集，所述训练数据集包括被标注有所述超声波发送装置相对于每个所述超声波接收装置的运动信息的特征值；根据所述训练数据集对初始模型训练，得到已训练的预设模型，所述已训练的预设模型能够根据特征值确定该特征值对应的运动信息，并确定该运动信息对应的待确认操作手势的概率值，将概率值最高的待确认操作手势作为该特征值对应的操作手势。
特征确定单元1703，用于获取每个所述超声波信号的特征值。
其中，所述特征值为多普勒效应面积差、多普勒效应面积和以及超声波幅度变化率绝对值中的至少一种。
操作手势确定单元1704，用于将每个所述超声波信号的特征值输入已训练的预设模型，得到用户通过所述超声波发送装置输入的操作手势，所述预设模型用于对获取的特征值分析，以得到所述超声波发送装置相对于每个所述超声波接收装置的运动信息，并根据每个运动信息确定多个运动信息对应的操作手势。
其中，特征确定单元和操作手势确定单元可以替换上述的运动确定单元和手势确定单元。
操作单元1705，用于根据所述操作手势控制所述电子设备执行对应的操作。
具体地，操作单元1705还用于确定每个所述超声波接收装置相对于所述超声波发送装置的相对运动状态；若根据每个所述相对运动状态确定所述超声波发送装置相对于所述电子设备处于平移运动状态，则确定用户通过所述超声波发送装置输入的操作手势为翻页手势。其中，根据所述操作手势控制所述电子设备执行对应的操作，包括：响应所述翻页手势，将所述电子设备当前显示的页面切换为所述页面的下一页。
上述的超声波发送装置为超声笔。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参考图18，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120、显示屏130、超声波接收装置150以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
显示屏130，即上述屏幕，用于显示由用户输入的信息、提供给用户的信息以及所述电子设备100的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、数字、视频和其任意组合来构成，在一个实例中，该显示屏130可以为液晶显示器(Liquid CrystalDisplay，LCD)，也可以为有机发光二极管(Organic Light-Emitting Diode，OLED)，在此不做限定。
所述电子设备的屏幕安装在所述前盖上，所述前盖包括顶部区域和底部区域，所述多个超声波接收装置分居所述顶部区域和底部区域。所述多个超声波接收装置包括第一超声波接收装置、第二超声波接收装置、第三超声波接收装置和第四超声波接收装置，其中，所述第一超声波接收装置位于所述顶部区域的一个顶点处，所述第二超声波接收装置位于所述顶部区域的另一个顶点处，所述第三超声波接收装置位于所述底部区域的一个顶点处，所述第四超声波接收装置位于所述底部区域的另一个顶点处。
请参考图19，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
综上所述，本申请提供的超声波处理方法、装置、电子设备及计算机可读介质，应用于超声操控系统的电子设备，所述超声操控系统还包括超声波发送装置，所述电子设备包括多个超声波接收装置，所述多个超声波装置安装在所述电子设备的壳体的不同位置处。所述超声波发送装置发射的超声波信号被每个所述超声波接收装置采集，电子设备根据每个所述超声波接收装置采集的超声波信号，确定所述超声波发送装置相对于每个所述超声波接收装置的运动信息，根据每个所述运动信息确定用户通过所述超声波发送装置输入的操作手势，根据所述操作手势控制所述电子设备执行对应的操作。因此，通过设置多个超声波接收装置，使得能后准确的检测到用户通过超声波发送装置输入的操作手势。
本申请实施例通过超声笔发射超声波，超声波可以直接到达拾音器，拾音器是有麦克风组成的麦克风阵列，超声波在传播过程中损失较少，再通过麦克风阵列以及神经网络模型，更加准确的识别出来当前的手势动作；可以解决当前终端对硬件的依赖和识别率低的情况，可以解决在仅仅通过x/y/z轴信息判断手势动作识别率低的问题，增强抗干扰能力；也能增加更多的手势判断，结合神经网络模型可以更加准确的识别出来的较为复杂的手势。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种超声波处理方法，其特征在于，应用于超声操控系统的电子设备，所述超声操控系统还包括超声波发送装置，所述电子设备包括多个超声波接收装置，所述多个超声波装置安装在所述电子设备的壳体的不同位置处，所述超声波发送装置为超声笔，所述电子设备的侧边设置有压力传感器，所述方法包括：
获取所述压力传感器采集到的压力值对应的压力面积；
若所述压力面积为指定面积，检测在预设时间段内获取的压力面积为指定面积的压力值的次数，其中，所述指定面积与所述超声笔的轮廓匹配；
如果所述次数满足次数要求，则判定接收到检测请求；
基于所述检测请求获取每个所述超声波接收装置采集的超声波信号，所述超声波信号为所述超声波发送装置发射的；
根据每个所述超声波接收装置采集的超声波信号，确定所述超声波发送装置相对于每个所述超声波接收装置的运动信息；
根据每个所述运动信息确定用户通过所述超声波发送装置输入的操作手势；
根据所述操作手势控制所述电子设备执行对应的操作。
2.根据权利要求1所述的方法，其特征在于，所述根据每个所述超声波接收装置采集的超声波信号，确定所述超声波发送装置相对于每个所述超声波接收装置的运动信息，根据每个所述运动信息确定用户通过所述超声波发送装置输入的操作手势，包括：
获取每个所述超声波信号的特征值；
将每个所述超声波信号的特征值输入已训练的预设模型，得到用户通过所述超声波发送装置输入的操作手势，所述预设模型用于对获取的特征值分析，以得到所述超声波发送装置相对于每个所述超声波接收装置的运动信息，并根据每个运动信息确定多个运动信息对应的操作手势。
3.根据权利要求2所述的方法，其特征在于，所述特征值为多普勒效应面积差、多普勒效应面积和以及超声波幅度变化率绝对值中的至少一种。
4.根据权利要求2所述的方法，其特征在于，所述将每个所述超声波信号的特征值输入已训练的预设模型之前，还包括：
获取训练数据集，所述训练数据集包括被标注有所述超声波发送装置相对于每个所述超声波接收装置的运动信息的特征值；
根据所述训练数据集对初始模型训练，得到已训练的预设模型，所述已训练的预设模型能够根据特征值确定该特征值对应的运动信息，并确定该运动信息对应的待确认操作手势的概率值，将概率值最高的待确认操作手势作为该特征值对应的操作手势。
5.根据权利要求1所述的方法，其特征在于，所述运动信息包括相对运动状态；所述根据每个所述运动信息确定用户通过所述超声波发送装置输入的操作手势，包括：
确定每个所述超声波接收装置相对于所述超声波发送装置的相对运动状态；
若根据每个所述相对运动状态确定所述超声波发送装置相对于所述电子设备处于平移运动状态，则确定用户通过所述超声波发送装置输入的操作手势为翻页手势。
6.根据权利要求5所述的方法，其特征在于，所述根据所述操作手势控制所述电子设备执行对应的操作，包括：
响应所述翻页手势，将所述电子设备当前显示的页面切换为所述页面的下一页。
7.一种超声波处理装置，其特征在于，应用于超声操控系统的电子设备，所述超声操控系统还包括超声波发送装置，所述电子设备包括多个超声波接收装置，所述多个超声波装置安装在所述电子设备的壳体的不同位置处，所述超声波发送装置为超声笔，所述电子设备的侧边设置有压力传感器，所述超声波处理装置包括：
获取单元，用于获取所述压力传感器采集到的压力值对应的压力面积，若所述压力面积为指定面积，检测在预设时间段内获取的压力面积为指定面积的压力值的次数，其中，所述指定面积与所述超声笔的轮廓匹配，如果所述次数满足次数要求，则判定接收到检测请求，基于所述检测请求获取每个所述超声波接收装置采集的超声波信号，所述超声波信号为所述超声波发送装置发射的；
运动确定单元，用于根据每个所述超声波接收装置采集的超声波信号，确定所述超声波发送装置相对于每个所述超声波接收装置的运动信息；
手势确定单元，用于根据每个所述运动信息确定用户通过所述超声波发送装置输入的操作手势；
操作单元，用于根据所述操作手势控制所述电子设备执行对应的操作。
8.一种电子设备，其特征在于，应用于超声操控系统，所述超声操控系统还包括超声波发送装置，所述电子设备包括：
一个或多个处理器；
存储器；
超声波接收装置；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-6任一项所述的方法。
9.根据权利要求8所述的电子设备，其特征在于，所述壳体包括前盖，所述电子设备的屏幕安装在所述前盖上，所述前盖包括顶部区域和底部区域，所述多个超声波接收装置分居所述顶部区域和底部区域。
10.根据权利要求9所述的电子设备，其特征在于，所述多个超声波接收装置包括第一超声波接收装置、第二超声波接收装置、第三超声波接收装置和第四超声波接收装置，其中，所述第一超声波接收装置位于所述顶部区域的一个顶点处，所述第二超声波接收装置位于所述顶部区域的另一个顶点处，所述第三超声波接收装置位于所述底部区域的一个顶点处，所述第四超声波接收装置位于所述底部区域的另一个顶点处。
11.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-6任一项所述的方法。
CN201910950755.0A 2019-10-08 2019-10-08 超声波处理方法、装置、电子设备及计算机可读介质 Active CN110764612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910950755.0A CN110764612B (zh) 2019-10-08 2019-10-08 超声波处理方法、装置、电子设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910950755.0A CN110764612B (zh) 2019-10-08 2019-10-08 超声波处理方法、装置、电子设备及计算机可读介质

Publications (2)

Publication Number Publication Date
CN110764612A CN110764612A (zh) 2020-02-07
CN110764612B true CN110764612B (zh) 2023-09-08

Family

ID=69330996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910950755.0A Active CN110764612B (zh) 2019-10-08 2019-10-08 超声波处理方法、装置、电子设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN110764612B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542597B (zh) * 2021-07-01 2023-08-29 Oppo广东移动通信有限公司 对焦方法以及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101110206B1 (ko) * 2011-05-02 2012-02-15 송명호 개폐가 용이하도록 완충기가 구비된 진동선별장치
CN102937832A (zh) * 2012-10-12 2013-02-20 广东欧珀移动通信有限公司 一种移动终端的手势捕捉方法及装置
CN105224071A (zh) * 2015-08-26 2016-01-06 广东欧珀移动通信有限公司 一种数据交互的方法、设备及系统
CN106203380A (zh) * 2016-07-20 2016-12-07 中国科学院计算技术研究所 超声波手势识别方法及系统
CN108055412A (zh) * 2017-12-29 2018-05-18 努比亚技术有限公司 控制移动终端的方法、移动终端及计算机可读存储介质
CN108184023A (zh) * 2017-12-29 2018-06-19 努比亚技术有限公司 屏幕状态控制方法、移动终端及计算机可读存储介质
CN109240551A (zh) * 2018-08-17 2019-01-18 Oppo（重庆）智能科技有限公司 使用手势控制电子装置的方法及相关产品
CN109253834A (zh) * 2018-10-12 2019-01-22 苏州优智达机器人有限公司 带新型体表压力感测的智能设备
CN109317597A (zh) * 2018-09-06 2019-02-12 贵州航天电子科技有限公司 一种铆接装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101039399B1 (ko) * 2009-07-21 2011-06-08 (주)펜앤프리 신호 발생 장치
US9720521B2 (en) * 2014-02-21 2017-08-01 Qualcomm Incorporated In-air ultrasound pen gestures

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101110206B1 (ko) * 2011-05-02 2012-02-15 송명호 개폐가 용이하도록 완충기가 구비된 진동선별장치
CN102937832A (zh) * 2012-10-12 2013-02-20 广东欧珀移动通信有限公司 一种移动终端的手势捕捉方法及装置
CN105224071A (zh) * 2015-08-26 2016-01-06 广东欧珀移动通信有限公司 一种数据交互的方法、设备及系统
CN106203380A (zh) * 2016-07-20 2016-12-07 中国科学院计算技术研究所 超声波手势识别方法及系统
CN108055412A (zh) * 2017-12-29 2018-05-18 努比亚技术有限公司 控制移动终端的方法、移动终端及计算机可读存储介质
CN108184023A (zh) * 2017-12-29 2018-06-19 努比亚技术有限公司 屏幕状态控制方法、移动终端及计算机可读存储介质
CN109240551A (zh) * 2018-08-17 2019-01-18 Oppo（重庆）智能科技有限公司 使用手势控制电子装置的方法及相关产品
CN109317597A (zh) * 2018-09-06 2019-02-12 贵州航天电子科技有限公司 一种铆接装置
CN109253834A (zh) * 2018-10-12 2019-01-22 苏州优智达机器人有限公司 带新型体表压力感测的智能设备

Also Published As

Publication number Publication date
CN110764612A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN106446801B (zh) 基于超声主动探测的微手势识别方法及系统
US11061115B2 (en) Method for gesture recognition, terminal, and storage medium
US11830479B2 (en) Voice recognition method and apparatus, and air conditioner
CN110502109B (zh) 信息处理方法、装置、电子设备及存储介质
CN110780741B (zh) 模型训练方法、应用运行方法、装置、介质及电子设备
WO2019105376A1 (zh) 手势识别方法、终端及存储介质
WO2021017947A1 (zh) 终端控制方法、装置、移动终端及存储介质
CN111124108B (zh) 模型训练方法、手势控制方法、装置、介质及电子设备
CN110865710B (zh) 终端控制方法、装置、移动终端及存储介质
CN110515085A (zh) 超声波处理方法、装置、电子设备及计算机可读介质
CN109212534B (zh) 移动终端的握持姿态检测方法、装置、设备及存储介质
US20170075425A1 (en) Finger gesture sensing device
US11959997B2 (en) System and method for tracking a wearable device
CN110519448A (zh) 屏幕状态控制方法、装置、移动终端以及存储介质
CN110764612B (zh) 超声波处理方法、装置、电子设备及计算机可读介质
CN111638522B (zh) 接近检测方法及电子设备
Cao et al. ipand: Accurate gesture input with smart acoustic sensing on hand
Ai et al. High precision gesture sensing via quantitative characterization of the Doppler effect
CN113160790A (zh) 回声消除方法、装置、电子设备及存储介质
CN112180377A (zh) 一种非接触式的人机交互定位方法、追踪方法、终端以及可读存储介质
Wang et al. Audiowrite: a handwriting recognition system using acoustic signals
WO2020102943A1 (zh) 手势识别模型的生成方法、装置、存储介质及电子设备
Yang et al. UltraDigit: An ultrasound signal‐based in‐air digit input system via transfer learning
US20240119943A1 (en) Apparatus for implementing speaker diarization model, method of speaker diarization, and portable terminal including the apparatus
CN103440034A (zh) 一种基于徒手和单目摄像头实现人机交互的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant