CN109212534B - 移动终端的握持姿态检测方法、装置、设备及存储介质 - Google Patents

移动终端的握持姿态检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109212534B
CN109212534B CN201811109899.5A CN201811109899A CN109212534B CN 109212534 B CN109212534 B CN 109212534B CN 201811109899 A CN201811109899 A CN 201811109899A CN 109212534 B CN109212534 B CN 109212534B
Authority
CN
China
Prior art keywords
sound wave
gesture
mobile terminal
acoustic
holding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811109899.5A
Other languages
English (en)
Other versions
CN109212534A (zh
Inventor
刘力
王伟伟
廖柏树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201811109899.5A priority Critical patent/CN109212534B/zh
Publication of CN109212534A publication Critical patent/CN109212534A/zh
Application granted granted Critical
Publication of CN109212534B publication Critical patent/CN109212534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Abstract

本申请公开了一种移动终端的握持姿态检测方法、装置、设备及存储介质,属于移动终端技术领域。移动终端包括声波发射器和声波接收器,该方法包括:通过声波发射器发射第一声波;获取声波接收器根据第二声波产生的声波信号,第二声波包括第一声波遇到障碍物反射回的声波;调用人工智能模型对声波信号进行识别,得到声波信号对应的握持姿态。本申请通过复用移动终端上已有的电子器件,实现了移动终端对用户手掌的握持姿态的检测,避免了在移动终端侧边另外增设电容传感器,从而利于移动终端轻薄化和窄边框的实现。

Description

移动终端的握持姿态检测方法、装置、设备及存储介质
技术领域
本公开涉及移动终端技术领域,特别涉及一种移动终端的握持姿态检测方法、装置、设备及存储介质。
背景技术
握持姿态识别是在移动终端上实现人机交互时的一个重要功能。移动终端可根据用户的不同握持姿态,提供不同的用户界面和/或功能模式。
相关技术中,移动终端的左右侧边框上设置有电容传感器,当用户握持移动终端时,用户的手指会使得左侧边框和右侧边框上的电容传感器产生不同的电容变化,移动终端根据左侧边框和右侧边框上的电容变化来识别用户的握持姿态是左手握持还是右手握持,然后根据握持姿态的具体类型显示左手用户界面或右手用户界面。
但是相关技术中的方案需要在移动终端的左右侧边框上增设电容传感器,不利于实现移动终端的超薄化和窄边框。
发明内容
本申请实施例提供了一种移动终端的握持姿态检测方法、装置、设备及存储介质,能够解决相关技术中需要增设电容传感器才能检测出用户的握持姿态的问题。所述技术方案如下:
根据本公开实施例的一方面,提供了一种移动终端的握持姿态检测方法,所述移动终端包括声波发射器和声波接收器,所述方法包括:
通过所述声波发射器发射第一声波;
获取所述声波接收器根据第二声波产生的声波信号,所述第二声波包括所述第一声波遇到障碍物反射回的声波;
调用人工智能模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态;
其中,所述人工智能模型是用于根据所述声波信号的声波特征进行握持姿态识别的模型。
在一些可能的实现方式中,调用模式识别模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态;或,调用机器学习模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态;或,调用深度学习模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态。
在一些可能的实现方式中,对所述声波信号进行特征提取,得到所述声波信号的声波特征;
调用所述人工智能模型对所述声波信号的声波特征进行识别,得到所述声波信号对应的握持姿态;
其中,所述声波特征包括:时域特征和/或频域特征。
在一些可能的实现方式中,通过所述声波发射器发射位于超声波频段的第一声波;
通过所述声波接收器接收所述第二声波产生的初始声波信号;
对所述初始声波信号中位于所述超声波频段之外的信号进行滤除,得到滤除后的声波信号。
在一些可能的实现方式中,根据所述握持姿态改变所述移动终端中的目标电子器件的工作状态,所述目标电子器件是工作性能受所述握持姿态影响的器件。
在一些可能的实现方式中,所述目标电子器件是所述移动终端中的天线器件,所述天线器件包括位于不同位置的第一天线器件和第二天线器件;
当所述握持姿态是遮挡所述第一天线器件的概率大于第一阈值的姿态,且所述第一天线器件处于工作状态时,将处于工作状态的天线器件从所述第一天线器件切换为所述第二天线器件。
在一些可能的实现方式中,所述目标电子器件是所述移动终端中的麦克风器件,所述麦克风器件包括位于不同位置的第一麦克风器件和第二麦克风器件;
当所述握持姿态是遮挡所述第一麦克风器件的概率大于第二阈值的姿态,且所述第一麦克风器件处于工作状态时,将处于工作状态的麦克风器件从所述第一麦克风器件切换为所述第二麦克风器件。
根据本公开实施例的另一方面,提供了一种移动终端的握持姿态检测装置,所述移动终端包括声波发射器和声波接收器,所述装置包括:
发射模块,被配置为通过所述声波发射器发射第一声波;
接收模块,被配置为获取所述声波接收器根据第二声波产生的声波信号,所述第二声波包括所述第一声波遇到障碍物反射回的声波;
识别模块,被配置为调用人工智能模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态;
其中,所述人工智能模型是用于根据所述声波信号的声波特征进行握持姿态识别的模型。
在一些可能的实现方式中,所述识别模块,被配置为调用模式识别模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态;或,所述识别模块,被配置为调用机器学习模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态;或,所述识别模块,被配置为调用深度学习模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态。
在一些可能的实现方式中,所述识别模块,被配置为对所述声波信号进行特征提取,得到所述声波信号的声波特征;
调用所述人工智能模型对所述声波信号的声波特征进行识别,得到所述声波信号对应的握持姿态;
其中,所述声波特征包括:时域特征和/或频域特征。
在一些可能的实现方式中,所述发射模块,被配置为通过所述声波发射器发射位于超声波频段的第一声波;
所述接收模块,被配置为通过所述声波接收器接收所述第二声波产生的初始声波信号;
对所述初始声波信号中位于所述超声波频段之外的信号进行滤除,得到滤除后的声波信号。
在一些可能的实现方式中,所述装置,还包括:
改变模块,被配置为根据所述握持姿态改变所述移动终端中的目标电子器件的工作状态,所述目标电子器件是工作性能受所述握持姿态影响的器件。
在一些可能的实现方式中,所述目标电子器件是所述移动终端中的天线器件,所述天线器件包括位于不同位置的第一天线器件和第二天线器件;
所述改变模块,被配置为当所述握持姿态是遮挡所述第一天线器件的概率大于第一阈值的姿态,且所述第一天线器件处于工作状态时,将处于工作状态的天线器件从所述第一天线器件切换为所述第二天线器件。
在一些可能的实现方式中,所述目标电子器件是所述移动终端中的麦克风器件,所述麦克风器件包括位于不同位置的第一麦克风器件和第二麦克风器件;
所述改变模块,被配置为当所述握持姿态是遮挡所述第一麦克风器件的概率大于第二阈值的姿态,且所述第一麦克风器件处于工作状态时,将处于工作状态的麦克风器件从所述第一麦克风器件切换为所述第二麦克风器件。
根据本公开实施例的另一方面,提供了一种移动终端,所述移动终端包括:处理器;与所述处理器相连的声波发射器和声波接收器;用于存储所述处理器的可执行指令的存储器;其中,所述处理器被配置为:
通过所述声波发射器发射第一声波;
获取所述声波接收器根据第二声波产生的声波信号,所述第二声波包括所述第一声波遇到障碍物反射回的声波;
调用人工智能模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态;
其中,所述人工智能模型是用于根据所述声波信号的声波特征进行握持姿态识别的模型。
根据本公开实施例的另一方面,提供了一种计算机存储介质,所述计算机可读存储介质包括一个或多个程序指令,当所述一个或多个程序指令被处理器运行时,实现如上所述的移动终端的握持姿态检测方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过声波发射器发射第一声波,声波接收器接收第二声波并生成声波信号,调用人工智能模型对声波信号进行识别,得到用户手掌对移动终端的握持姿态,从而在不需要侧边框增加电容传感器的前提下,实现了握持姿态的识别功能,复用了移动终端上已有的电子器件,利于实现移动终端的轻薄化和窄边框化。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的移动终端的结构示意图;
图2是本申请一个示例性实施例提供的用于对移动终端的握持姿态检测方法的流程图;
图3是本申请一个示例性实施例提供的神经网络模型训练方法的流程图;
图4是本申请另一个示例性实施例提供的用于对移动终端的握持姿态检测方法的流程图;
图5是本申请一个示例性实施例提供的用于对移动终端的握持姿态检测装置的结构图;
图6是本申请另一个示例性实施例提供的用于对移动终端的握持姿态检测装置的结构图;
图7是本申请另一个示例性的实施例提供的用于对移动终端的握持姿态检测装置的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
相关技术中为了检测用户握持移动终端的手掌姿势,移动终端在左右两侧的边框上设置电容传感器。通过用户手指触碰左右两侧的边框,从而产生的电容变化,移动终端识别出用户的握持姿态,即移动终端可以判断出用户是左手握持还是右手握持。移动终端再根据识别出的用户的握持姿态,选择改变移动终端内的功能模式。在其他的实施方式中,移动终端左右两侧的边框上设置的也可以是温度传感器、电阻传感器等,用户的手指通过触碰移动终端左右两侧的边框,左右两侧的边框从而产生相应的变化,比如温度变化、电阻变化等,移动终端能够根据该种变化识别出用户的握持姿态,进而改变移动终端内的功能模式。
然而,采用在移动终端的左右两侧设置传感器,从而检测用户的握持姿他的方式,都需要增添另外的电子器件,增加了移动终端的设计难度,不利于实现移动终端的超薄化和窄边框。
本申请实施例可以解决通过在移动终端的左右两侧边框增设电容传感器来检测用户的握持姿态,从而导致不利于实现移动终端的超薄化和窄边框的问题。
图1示出了本申请一个示例性实施例提供的移动终端的结构示意图,该移动终端101包括:声波发射器103和声波接收器104。
声波发射器103用于发射第一声波。声波接收器104用于接收第二声波,第二声波包括:遇到障碍物(比如用户手掌102)反射回的第一声波,以及空气噪声和/或用户的说话声音。
声波发射器103可以是移动终端101上的扬声器,声波接收器104可以是移动终端101上的麦克风,且扬声器103和麦克风104都设置于移动终端101的底部,第一声波可以是频率为20kHz以上的超声波。示意性的,扬声器103发射超声波,麦克风104接收被用户手掌102反射回的超声波,以及超声波检测过程中带回的空气噪声和/或用户的说话声音。
可选地,声波发射器103和声波接收器104也可以是除扬声器和麦克风以外的,另外增添的设置于移动终端101上的电子器件,该电子器件可以是压电陶瓷式的超声波发送器和超声波接收器。另外,本申请实施例对声波发射器103和声波接收器104设置在移动终端101上的位置不做限定。图1中仅以声波发射器103和声波接收器104设置在移动终端101的底部边框上来举例说明。
在本申请实施例中,移动终端通过声波发射器和声波接收器,检测用户的握持姿态,通过声波遇到障碍物会产生不同的反射特性,实现用户手掌在移动终端上的握持姿态。
图2示出了本申请一个示例性实施例提供的用于对移动终端的握持姿态检测方法的流程图,该方法以应用于图1所示的移动终端中来举例说明,该方法包括:
步骤201,移动终端通过声波发射器发射第一声波。
移动终端中设置有控制器,该控制器可以是处理器,可以控制声波发射器发射第一声波。
可选地,第一声波是频率为20kHz以上的超声波,一方面可以避免用户听到第一声波;另一方面,也利于声波接收器区别出反射回的超声波与用户的说话声音,避免声波检测时产生干扰。
步骤202,移动终端获取声波接收器根据第二声波产生的声波信号,第二声波包括第一声波遇到障碍物反射回的声波。
第一声波在发送与反射的传播过程中,会带有空气噪声和/或用户的说话声音。当第一声波遇到障碍物被反射时,声波接收器接收除了反射回的第一声波,还同时接收了被附带回的空气噪声和/或用户的说话声音。
可选地,声波接收器对第二声波进行预处理,将接收到的第二声波转换为数字信号,并进行常规的预处理过程,预处理过程包括:信号分帧、滤波、预加重、加窗函数及端点检测等。其中,预处理过程还包括噪声处理,即将初始声波信号位于超声波频段之外的信号进行滤除,从而得到滤除后的声波信号,该滤除后的声波信号包括反射回的第一声波对应的信号。该声波信号用于通过人工智能模型进行识别,从而判断出用户握持姿态。
步骤203,移动终端调用人工智能模型对声波信号进行识别,得到声波信号对应的握持姿态。
移动终端还设置有存储器或AI(Artificial Intelligence,人工智能)芯片,该存储器或AI芯片用于存储人工智能模型,人工智能模型是具有识别握持姿态的功能模型。
在一种可选的实施方式中,处理器调用人工智能模型对声波信号进行特征提取,并根据特征提取到的声波特征来进行握持姿态识别。声波特征包括:时域特征和/或频域特征。
在另一种可选的实施方式中,处理器采用特征提取实现方法对声波信号进行特征提取,得到声波特征。通过人工智能模型对声波特征进行分类,根据分类的结果实现握持姿态的识别。声波特征包括:时域特征和/或频域特征。可选地,特征提取实现方法包括频率倒谱系数法、谱包络法、线性预测编码(linear predictive coding,LPC)内插法、LPC求根法和希尔伯特变换法中的至少一种。
本实施例对握持姿态的分类方式、分类名称、分类数量等不做限定。在一种可选的实施方式中,声波信号对应的握持姿态可以包括如下姿态中的至少一种:握持部位姿态、左右手姿态、无姿态。
可选地,握持部位姿态包括:用户握于移动终端上部的上部握姿、用户握于移动终端中部的中部握姿和用户握于移动终端下部的下部握姿中的至少一种。示意性的,设定正常通话时的听筒所在端为移动终端上部,正常通话时的麦克风所在端为移动终端下部,移动终端上部和移动终端下部之间的部分为移动终端中部。
可选地,左右手姿态包括:左手握姿和右手握姿。
可选地,握持部位姿态和左右手姿态还可以组合,比如握持姿态包括:左手上部握持姿态、左手中部握持姿态、左手下部握持姿态、右手上部握持姿态、右手中部握持姿态、右手下部握持姿态中的至少一种。
人工智能模型可以是模式识别模型、机器学习模型和深度学习模型中的任意一种。比如,处理器调用模式识别模型对声波信号进行识别,得到声波信号对应的握持姿态;或,处理器调用机器学习模型对声波信号进行识别,得到声波信号对应的握持姿态;或,处理器调用深度学习模型对声波信号进行识别,得到声波信号对应的握持姿态。
综上所述,本实施例提供的方法中,通过声波发射器发射第一声波,声波接收器接收第二声波并生成声波信号,处理器调用人工智能模型对声波信号进行识别,通过复用移动终端上已有的电子器件,实现了移动终端对用户手掌的握持姿态的检测,避免了在移动终端侧边另外增设电容传感器,从而利于移动终端轻薄化和窄边框的实现。
人工智能模型可以通过对声波信号训练集采用误差反向传播算法来训练得到。参见图3,以神经网络模型为例,说明人工智能模型的训练步骤,神经网络模型可以是该神经网络模型可以是深度神经网络(Deep Neural Network,DNN)、卷积神经网络(Convolutional Neural Network,CNN)、递归神经网络(Recurrent Neural Network,RNN)等,本申请实施例对此不加以限定。
技术人员可根据使用场景的不同,对神经网络模型的网络类型、网络层数、每一层网络的神经元组成形式、每一层网络所采用的神经元类型、相邻网络层之间的连接关系进行设置。也即,不同的神经网络模型可具有相同或不同的网络类型、相同或不同的网络层数、相同或不同的每一层网络的神经元组成形式、每一层网络采用相同或不同的神经元类型、相邻网络层之间的相同或不同的连接关系,本实施例对此不加以限定。具体步骤如下:
步骤301,接收训练数据;
可选地,训练数据是已经具有握持姿态的标定结果的声波信号训练集。
预先在不同握持姿态下采集出多个声波信号,并对每个声波信号所对应的实际握持姿态进行分类标定,得到声波信号训练集。示意性的,声波信号训练集包括:握持部位姿态训练集、左右手姿态训练集、无姿态训练集中的至少一个。
握持部位姿态训练集包括:上部握姿训练集、中部握姿训练集、下部握姿训练集中的至少一个。上部握姿训练集包括:当用户握于移动终端上部时采集的声波信号,以及上部握姿标定结果;中部握姿训练集包括:当用户握于移动终端中部时采集的声波信号,以及中部握姿标定结果;下部握姿训练集包括:当用户握于移动终端下部时采集的声波信号,以及下部握姿标定结果。
左右手姿态训练集包括:左手握姿训练集和右手握持训练集中的至少一个。左手握姿训练集包括:当用户使用左手握持移动终端时采集的声波信号,以及左手握姿标定结果;右手握姿训练集包括:当用户使用右手握持移动终端时采集的声波信号,以及右手握姿标定结果。
无姿态训练集包括:当用户未握持移动终端(比如悬空、放置在桌面、放置在用户口袋中)时采集的声波信号,以及无姿态标定结果。
在一些实施例中,声波信号训练集包括:左手上部握持姿态训练集、左手中部握持姿态训练集、左手下部握持姿态训练集、右手上部握持姿态训练集、右手中部握持姿态训练集、右手下部握持姿态训练集中的至少一种。
步骤302,设置训练参数;
对于一个神经网络模型,该神经网络模型中的各层神经元具有各自的神经元参数(或权重),技术人员可采用随机的方式生成各层神经元的初始参数,也可以采用设置经验值的方式来生成各层神经元的初始参数。也即在构建初始的人工智能模型后,可以采用随机化方式或人工标定经验值方式产生人工智能模型中初始参数。
初始参数是指,神经网络模型中的神经元在训练前所具有的神经元参数。
步骤303,模型训练;
将声波信号训练集中的样本信号依次输入神经网络模型中进行训练,该神经网络模型对样本信号进行分析得到预测结果,然后将预测结果与该样本信号的标定结果进行对比得到分析误差,然后根据误差反向传播算法将分析误差进行反向传播,从而更新神经网络模型的各层神经元参数。
步骤304,判断是否达到训练数据评估标准?
技术人员设置有训练数据评估标准(也称训练结束条件)。在一种实现方式中,训练数据评估标准是预测误差收敛至期望阈值;在另一种实现方式中,训练数据评估标准是训练迭代次数达到了次数阈值(比如10000次)
在每次训练过程对神经元参数进行更新后,判断是否达到训练数据评估标注;当达到了训练数据评估标准时,进入步骤305;当未达到训练数据评估标准时,再次执行步骤303。
以训练结束条件是训练迭代次数达到了20000次为例,当训练迭代次数达到了20000次,就可进入步骤305;否则重新下一次迭代训练过程。
步骤305,判断是否达到评估数据评估标准?
当训练过程达到训练结束条件时,还需要使用声波训练信号集中的每个测试信号输入训练后的神经网络模型中进行测试。评估数据是指声波训练信号集中的每个测试信号。
评估数据评估标准可以是测试信号的测试结果与标定结果的误差小于预设条件,还可以是测试信号的测试结果的准确率高于预设阈值,还可以是测试信号的测试速度和测试结果均达到期望条件。根据实际使用场景的不同,评估数据评估标准可以是不同的,本实施例对此不加以限定。
当训练后的神经网络模型未达到评估数据评估标准时,对训练后的神经网络模型进行重新训练。当训练后的神经网络模型达到评估数据评估标准时,进入步骤306。
步骤306,模型训练完成。
将训练后的神经网络模型确定为能够上线使用的人工智能模型,存储至存储器或AI芯片中。
其中,模式识别模型和深度网络模型的训练过程,与神经网络模型的训练过程类似,仅为模型的组织结构和算法原理不同,相关训练过程不再赘述。
在本申请实施例中,移动终端通过第一声波检测用户的握持姿态,该第一声波可以是超声波。在识别出用户的握持姿态后,移动终端根据识别出的用户的握持姿态,改变该移动终端中的目标电子器件的工作状态,该目标电子器件是工作性能受用户的握持姿态影响的器件。
图4示出了本申请另一个示例性实施例提供的用于对移动终端的握持姿态检测方法的流程图,该方法以应用于图1所示的移动终端中来举例说明,其中,移动终端包括声波发射器和声波接收器,该方法包括:
步骤401,移动终端通过声波发射器发射第一声波。
移动终端中设置有控制器,该控制器可以是处理器,可以控制声波发射器发射第一声波。
可选地,第一声波是频率为20kHz以上的超声波,一方面可以避免用户听到第一声波;另一方面,也利于声波接收器区别出反射回的超声波与用户的说话声音,避免声波检测时产生干扰。
步骤402,移动终端获取声波接收器根据第二声波产生的声波信号,第二声波包括第一声波遇到障碍物反射回的声波。
第一声波在发送与反射的传播过程中,会带有空气噪声和/或用户的说话声音。当第一声波遇到障碍物被反射时,声波接收器接收除了反射回的第一声波,还同时接收了被附带回的空气噪声和/或用户的说话声音。
可选地,声波接收器对第二声波进行预处理,将接收到的第二声波转换为数字信号,并进行常规的预处理过程,预处理过程包括:信号分帧、滤波、预加重、加窗函数及端点检测等。其中,预处理过程还包括噪声处理,即将初始声波信号位于超声波频段之外的信号进行滤除,从而得到滤除后的声波信号,该滤除后的声波信号包括反射回的第一声波对应的信号。该声波信号用于通过人工智能模型进行识别,从而判断出用户握持姿态。
步骤403,移动终端调用模式识别模型对声波信号进行识别,得到声波信号对应的握持姿态。
移动终端还设置有存储器或AI芯片,该存储器或AI芯片用于存储模式识别模型,模式识别模型是具有识别握持姿态的功能模型。
在一种可选的实施方式中,处理器调用模式识别模型对声波信号进行特征提取,并根据特征提取到的声波特征来进行握持姿态识别。声波特征包括:时域特征和/或频域特征。
在另一种可选的实施方式中,处理器采用特征提取实现方法对声波信号进行特征提取,得到声波特征。通过模式识别模型对声波特征进行分类,根据分类的结果实现握持姿态的识别。声波特征包括:时域特征和/或频域特征。可选地,特征提取实现方法包括频率倒谱系数法、谱包络法、LPC内插法、LPC求根法和希尔伯特变换法中的至少一种。
本实施例对握持姿态的分类方式、分类名称、分类数量等不做限定。在一种可选的实施方式中,声波信号对应的握持姿态可以包括如下姿态中的至少一种:握持部位姿态、左右手姿态、无姿态。
可选地,握持部位姿态包括:用户握于移动终端上部的上部握姿、用户握于移动终端中部的中部握姿和用户握于移动终端下部的下部握姿中的至少一种。示意性的,设定正常通话时的听筒所在端为移动终端上部,正常通话时的麦克风所在端为移动终端下部,移动终端上部和移动终端下部之间的部分为移动终端中部。
可选地,左右手姿态包括:左手握姿和右手握姿。
可选地,握持部位姿态和左右手姿态还可以组合,比如握持姿态包括:左手上部握持姿态、左手中部握持姿态、左手下部握持姿态、右手上部握持姿态、右手中部握持姿态、右手下部握持姿态中的至少一种。
步骤404,移动终端调用机器学习模型对声波信号进行识别,得到声波信号对应的握持姿态。
移动终端还设置有存储器或AI芯片,该存储器或AI芯片用于存储机器学习模型,机器学习模型是具有识别握持姿态的功能模型。
在一种可选的实施方式中,处理器调用机器学习模型对声波信号进行特征提取,并根据特征提取到的声波特征来进行握持姿态识别。声波特征包括:时域特征和/或频域特征。可选地,特征提取实现方法包括频率倒谱系数法、谱包络法、LPC内插法、LPC求根法和希尔伯特变换法中的至少一种。
在另一种可选的实施方式中,处理器对声波信号进行特征提取,得到声波特征。通过机器学习模型对声波特征进行分类,根据分类的结果实现握持姿态的识别。声波特征包括:时域特征和/或频域特征。可选地,特征提取实现方法包括频率倒谱系数法、谱包络法、LPC内插法、LPC求根法和希尔伯特变换法中的至少一种。
移动终端通过机器学习模型识别握持姿态的分类与通过模式识别模型分类类似,这里不再赘叙。
步骤405,移动终端调用深度学习模型对声波信号进行识别,得到声波信号对应的握持姿态。
移动终端还设置有存储器或AI芯片,该存储器或AI芯片用于存储深度学习模型,深度学习模型是具有识别握持姿态的功能模型。
在一种可选的实施方式中,处理器调用深度学习模型对声波信号进行特征提取,并根据特征提取到的声波特征来进行握持姿态识别。声波特征包括:时域特征和/或频域特征。可选地,特征提取实现方法包括频率倒谱系数法、谱包络法、LPC内插法、LPC求根法和希尔伯特变换法中的至少一种。
在另一种可选的实施方式中,处理器对声波信号进行特征提取,得到声波特征。通过深度学习模型对声波特征进行分类,根据分类的结果实现握持姿态的识别。声波特征包括:时域特征和/或频域特征。可选地,特征提取实现方法包括频率倒谱系数法、谱包络法、LPC内插法、LPC求根法和希尔伯特变换法中的至少一种。
移动终端通过深度学习模型识别握持姿态的分类与通过模式识别模型分类类似,这里不再赘叙。
步骤406,当握持姿态是遮挡第一天线器件的概率大于第一阈值的姿态,且第一天线器件处于工作状态时,移动终端将处于工作状态的天线器件从第一天线器件切换为第二天线器件。
移动终端判定出用户的握持姿态后,根据握持姿态预测该握持姿态是否有影响到移动终端中目标电子器件的工作性能,从而判断是否需要改变目标电子器件的工作状态。
示意性的,当目标电子器件是移动终端的天线器件时,该天线器件包括位于不同位置的第一天线器件和第二天线器件。当握持姿态是遮挡第一天线器件的概率大于设定的概率的姿态,且第一天线器件处于工作状态时,移动终端将处于工作状态的天线器件从第一天线器件切换为第二天线器件。
比如,移动终端包括主天线和副天线,主天线位于底部,副天线位于顶部。当判断出握持姿态是遮挡主天线的概率大于第一概率的姿态,且主天线处于工作状态时,移动终端将处于工作状态的天线从主天线切换为副天线。
步骤407,当握持姿态是遮挡第一麦克风器件的概率大于第二阈值的姿态,且第一麦克风器件处于工作状态时,移动终端将处于工作状态的麦克风器件从第一麦克风器件切换为第二麦克风器件。
移动终端判定出用户的握持姿态后,根据握持姿态预测该握持姿态是否有影响到移动终端中目标电子器件的工作性能,从而判断是否需要改变目标电子器件的工作状态。
示意性的,当目标电子器件是移动终端中的麦克风器件,该麦克风器件包括位于不同位置的第一麦克风器件和第二麦克风器件。当握持姿态是遮挡第一麦克风器件的概率大于第二概率的姿态,且第一麦克风器件处于工作状态时,移动终端将处于工作状态的麦克风器件从第一麦克风器件切换为第二麦克风器件。
比如,移动终端包括主麦克风和副麦克风,主麦克风位于底部,副麦克风位于顶部。当判断出握持姿态是遮挡主麦克风的概率大于设定的概率的姿态,且主麦克风处于工作状态时,移动终端将处于工作状态的麦克风从主麦克风切换为副麦克风。
步骤408,当握持姿态是遮挡第一扬声器器件的概率大于第三概率的姿态,且第一扬声器器件处于工作状态时,移动终端将处于工作状态的扬声器器件从第一扬声器器件切换为第二扬声器器件;或,当握持姿态是遮挡第一扬声器器件的概率大于第三概率的姿态,且第一扬声器器件处于工作状态时,移动终端提升第一扬声器器件的工作功率。
移动终端判定出用户的握持姿态后,根据握持姿态预测该握持姿态是否有影响到移动终端中目标电子器件的工作性能,从而判断是否需要改变目标电子器件的工作状态。
示意性的,当目标电子器件是移动终端中的扬声器器件,该扬声器器件包括位于不同位置的第一扬声器器件和第二扬声器器件。当握持姿态是遮挡第一扬声器器件的概率大于第三概率的姿态,且第一扬声器器件处于工作状态时,移动终端将处于工作状态的扬声器器件从第一扬声器器件切换为第二扬声器器件;或,当握持姿态是遮挡第一扬声器器件的概率大于第三概率的姿态,且第一扬声器器件处于工作状态时,移动终端提升第一扬声器器件的工作功率。
比如,在一种可选的实施例中,移动终端包括主扬声器和副扬声器,主扬声器位于底部,副扬声器位于顶部。当判断出握持姿态是遮挡主扬声器的概率大于设定的概率的姿态,且主扬声器处于工作状态时,移动终端将处于工作状态的扬声器从主扬声器切换为副扬声器。
在另一种可选的实施例中,当判断出握持姿态是遮挡扬声器的概率大于设定的概率的姿态,且该扬声器处于工作状态时,移动终端提升该扬声器的工作功率。
可选地,当目标电子器件是移动终端中的扬声器器件时,该移动终端中设置的扬声器数量可以是两个以上,且扬声器设置位置可以是移动终端的任何位置。当需要切换扬声器时,切换的扬声器位于移动终端的位置,以及切换的扬声器的数量,即切换后可以有多个扬声器处于工作状态,本实施例对扬声器的切换结果不做限定。或,当需要提升工作功率时,移动终端可以选择提升被挡住的扬声器的工作功率,移动终端也可以选择提升所有处于工作状态的扬声器的工作功率。
综上所述,本实施例提供的方法中,通过声波发射器发射第一声波,声波接收器接收第二声波并生成声波信号,处理器调用人工智能模型对声波信号进行识别,通过复用移动终端上已有的电子器件,实现了移动终端对用户手掌的握持姿态的检测,避免了在移动终端侧边另外增设电容传感器,从而利于移动终端轻薄化和窄边框的实现。
在本实施例提供的方法中,使用超声波作为第一声波,在声波接收器接到第二声波时,易于将第一声波从第二声波中提取出来,即易于将空气噪声和/或用户的说话声音从第二声波中剔除出来。
在本实施例提供的方法中,根据得到的用户的握持姿态,判别出移动终端是否有电子器件受到该握持姿态的影响,从而判定是否需要改变电子器件的工作状态,避免用户因握持姿态导致的体验感差的问题。
需要说明的是,图4所示的实施例中,步骤403、步骤404、步骤405是移动终端采用人工智能模型进行识别的三种可选的实施方式,移动终端可以采用三个步骤中的任意一种作为实际实施方式。
图4所示的实施例中,步骤406、步骤407、步骤408是移动终端根据识别出的握持姿态,可能选定的目标电子器件的三种情况,移动终端可以执行三个步骤中的至少一种步骤。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图5示出了本申请一个示例性实施例提供的用于对移动终端的握持姿态检测装置的结构图,该装置可以实现成为移动终端中的一部分,移动终端包括声波发射器和声波接收器,该装置包括:
发射模块501,被配置为通过声波发射器发射第一声波。
可选地,发射模块501,被配置为通过声波发射器发射位于超声波频段的第一声波。第一声波是频率为20kHz以上的超声波,一方面可以避免用户听到第一声波;另一方面,也利于声波接收器区别出反射回的超声波与用户的说话声音,避免声波检测时产生干扰。
接收模块502,被配置为获取声波接收器根据第二声波产生的声波信号,第二声波包括第一声波遇到障碍物反射回的声波。
可选地,接收模块502,被配置为通过声波接收器接收第二声波产生的初始声波信号。对初始声波信号中位于超声波频段之外的信号进行滤除,得到滤除后的声波信号。
第一声波在发送与反射的传播过程中,会带有空气噪声和/或用户的说话声音。当第一声波遇到障碍物被反射时,声波接收器接收除了反射回的第一声波,还同时接收了被附带回的空气噪声和/或用户的说话声音。
可选地,声波接收器对第二声波进行预处理,将接收到的第二声波转换为数字信号,并进行常规的预处理过程,预处理过程包括:信号分帧、滤波、预加重、加窗函数及端点检测等。其中,预处理过程还包括噪声处理,即将初始声波信号位于超声波频段之外的信号进行滤除,从而得到滤除后的声波信号,该滤除后的声波信号包括反射回的第一声波对应的信号。该声波信号用于通过人工智能模型进行识别,从而判断出用户握持姿态。
识别模块503,被配置为调用人工智能模型对声波信号进行识别,得到声波信号对应的握持姿态。
其中,人工智能模型是用于根据声波信号的声波特征进行握持姿态识别的模型。
移动终端还设置有存储器或AI芯片,该存储器或AI芯片用于存储人工智能模型,人工智能模型是具有识别握持姿态的功能模型。
在一种可选的实施方式中,处理器调用人工智能模型对声波信号进行特征提取,并根据特征提取到的声波特征来进行握持姿态识别。声波特征包括:时域特征和/或频域特征。
在另一种可选的实施方式中,处理器采用特征提取实现方法对声波信号进行特征提取,得到声波特征。通过人工智能模型对声波特征进行分类,根据分类的结果实现握持姿态的识别。声波特征包括:时域特征和/或频域特征。可选地,特征提取实现方法包括频率倒谱系数法、谱包络法、LPC内插法、LPC求根法和希尔伯特变换法中的至少一种。
本实施例对握持姿态的分类方式、分类名称、分类数量等不做限定。方法实施例中对于姿态分类有详细说明,这里不再赘叙。
可选地,识别模块503,被配置为调用模式识别模型对声波信号进行识别,得到声波信号对应的握持姿态;或,识别模块503,被配置为调用机器学习模型对声波信号进行识别,得到声波信号对应的握持姿态;或,识别模块503,被配置为调用深度学习模型对声波信号进行识别,得到声波信号对应的握持姿态。
可选地,识别模块503,被配置为对声波信号进行特征提取,得到声波信号的声波特征;调用人工智能模型对声波信号的声波特征进行识别,得到声波信号对应的握持姿态;其中,声波特征包括:时域特征和/或频域特征。
综上所述,本实施例提供的装置中,通过声波发射器发射第一声波,声波接收器接收第二声波并生成声波信号,处理器调用人工智能模型对声波信号进行识别,通过复用移动终端上已有的电子器件,实现了移动终端对用户手掌的握持姿态的检测,避免了在移动终端侧边另外增设电容传感器,从而利于移动终端轻薄化和窄边框的实现。
图6示出了本申请另一个示例性实施例提供的用于对移动终端的握持姿态检测装置的结构图,该装置可以实现成为移动终端中的一部分,移动终端包括声波发射器和声波接收器,该装置包括:
发射模块601,被配置为通过声波发射器发射第一声波。
可选地,发射模块501,被配置为通过声波发射器发射位于超声波频段的第一声波。第一声波是频率为20kHz以上的超声波,一方面可以避免用户听到第一声波;另一方面,也利于声波接收器区别出反射回的超声波与用户的说话声音,避免声波检测时产生干扰。
接收模块602,被配置为获取声波接收器根据第二声波产生的声波信号,第二声波包括第一声波遇到障碍物反射回的声波。
可选地,接收模块602,被配置为通过声波接收器接收第二声波产生的初始声波信号。对初始声波信号中位于超声波频段之外的信号进行滤除,得到滤除后的声波信号。
第一声波在发送与反射的传播过程中,会带有空气噪声和/或用户的说话声音。当第一声波遇到障碍物被反射时,声波接收器接收除了反射回的第一声波,还同时接收了被附带回的空气噪声和/或用户的说话声音。
可选地,声波接收器对第二声波进行预处理,将接收到的第二声波转换为数字信号,并进行常规的预处理过程,预处理过程包括:信号分帧、滤波、预加重、加窗函数及端点检测等。其中,预处理过程还包括噪声处理,即将初始声波信号位于超声波频段之外的信号进行滤除,从而得到滤除后的声波信号,该滤除后的声波信号包括反射回的第一声波对应的信号。该声波信号用于通过人工智能模型进行识别,从而判断出用户握持姿态。
识别模块603,被配置为调用人工智能模型对声波信号进行识别,得到声波信号对应的握持姿态。
其中,人工智能模型是用于根据声波信号的声波特征进行握持姿态识别的模型。
移动终端还设置有存储器或AI芯片,该存储器或AI芯片用于存储人工智能模型,人工智能模型是具有识别握持姿态的功能模型。
在一种可选的实施方式中,处理器调用人工智能模型对声波信号进行特征提取,并根据特征提取到的声波特征来进行握持姿态识别。声波特征包括:时域特征和/或频域特征。
在另一种可选的实施方式中,处理器采用特征提取实现方法对声波信号进行特征提取,得到声波特征。通过人工智能模型对声波特征进行分类,根据分类的结果实现握持姿态的识别。声波特征包括:时域特征和/或频域特征。可选地,特征提取实现方法包括频率倒谱系数法、谱包络法、线性预测编码LPC内插法、LPC求根法和希尔伯特变换法中的至少一种。
本实施例对握持姿态的分类方式、分类名称、分类数量等不做限定。方法实施例中对于姿态分类有详细说明,这里不再赘叙。
可选地,识别模块603,被配置为调用模式识别模型对声波信号进行识别,得到声波信号对应的握持姿态;或,识别模块603,被配置为调用机器学习模型对声波信号进行识别,得到声波信号对应的握持姿态;或,识别模块603,被配置为调用深度学习模型对声波信号进行识别,得到声波信号对应的握持姿态。
可选地,识别模块603,被配置为对声波信号进行特征提取,得到声波信号的声波特征;调用人工智能模型对声波信号的声波特征进行识别,得到声波信号对应的握持姿态;其中,声波特征包括:时域特征和/或频域特征。
可选地,改变模块604,被配置为根据握持姿态改变移动终端中的目标电子器件的工作状态,目标电子器件是工作性能受所述握持姿态影响的器件。
可选地,目标电子器件是移动终端中的天线器件,天线器件包括位于不同位置的第一天线器件和第二天线器件。
改变模块604,被配置为当握持姿态是遮挡第一天线器件的概率大于第一阈值的姿态,且第一天线器件处于工作状态时,将处于工作状态的天线器件从第一天线器件切换为第二天线器件。
可选地,目标电子器件是移动终端中的麦克风器件,麦克风器件包括位于不同位置的第一麦克风器件和第二麦克风器件。
改变模块604,被配置为当握持姿态是遮挡第一麦克风器件的概率大于第二阈值的姿态,且第一麦克风器件处于工作时,将处于工作状态的麦克风器件从第一麦克风器件切换为第二麦克风器件。
综上所述,本实施例提供的装置中,通过声波发射器发射第一声波,声波接收器接收第二声波并生成声波信号,处理器调用人工智能模型对声波信号进行识别,通过复用移动终端上已有的电子器件,实现了移动终端对用户手掌的握持姿态的检测,避免了在移动终端侧边另外增设电容传感器,从而利于移动终端轻薄化和窄边框的实现。
在本实施例提供的装置中,使用超声波作为第一声波,在声波接收器接到第二声波时,易于将第一声波从第二声波中提取出来,即易于将空气噪声和/或用户的说话声音从第二声波中剔除出来。
在本实施例提供的装置中,根据得到的用户的握持姿态,判别出移动终端是否有电子器件受到该握持姿态的影响,从而判定是否需要改变电子器件的工作状态,避免用户因握持姿态导致的体验感差的问题。
图7是本申请另一个示例性的实施例提供的用于对移动终端的握持姿态检测装置的框图。例如,装置700可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图7,装置700可以包括以下一个或多个组件:处理组件702,存储器704,电源组件706,多媒体组件708,音频组件710,输入/输出(I/O)接口712,传感器组件714,以及通信组件716。
处理组件702通常控制装置700的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器718来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件702可以包括一个或多个模块,便于处理组件702和其他组件之间的交互。例如,处理组件702可以包括多媒体模块,以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在装置700的操作。这些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件706为装置700的各种组件提供电力。电源组件706可以包括电源管理系统,一个或多个电源,及其他与为装置700生成、管理和分配电力相关联的组件。
多媒体组件708包括在装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件708包括一个前置摄像头和/或后置摄像头。当装置700处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如,音频组件710包括一个麦克风(MIC),当装置700处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中,音频组件710还包括一个扬声器,用于输出音频信号。
I/O接口712为处理组件702和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器,用于为装置700提供各个方面的状态评估。例如,传感器组件714可以检测到装置700的打开/关闭状态,组件的相对定位,例如组件为装置700的显示器和小键盘,传感器组件714还可以检测装置700或装置700一个组件的位置改变,用户与装置700接触的存在或不存在,装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件714还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络,如Wi-Fi,2G、3G或4G,或它们的组合。在一个示例性实施例中,通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件716还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述移动终端的握持姿态检测方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器704,上述指令可由装置700的处理器718执行以完成上述移动终端的握持姿态检测方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (12)

1.一种移动终端的握持姿态检测方法,其特征在于,所述移动终端包括声波发射器和声波接收器,所述方法包括:
通过所述声波发射器发射第一声波;
获取所述声波接收器根据第二声波产生的声波信号,所述第二声波包括所述第一声波遇到障碍物反射回的声波;
调用人工智能模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态;其中,所述人工智能模型是用于根据所述声波信号的声波特征进行握持姿态识别的模型;所述握持姿态包括如下姿态中的至少一种:握持部位姿态、左右手姿态、无姿态;
根据所述握持姿态改变所述移动终端中的目标电子器件的工作状态,所述目标电子器件是工作性能受所述握持姿态影响的器件;
其中,当所述目标电子器件包括所述移动终端中的天线器件、且所述天线器件包括位于不同位置的第一天线器件和第二天线器件时,所述根据所述握持姿态改变所述移动终端中的目标电子器件的工作状态,包括:
当所述握持姿态是遮挡所述第一天线器件的概率大于第一阈值的姿态、且所述第一天线器件处于工作状态时,将处于工作状态的天线器件从所述第一天线器件切换为所述第二天线器件。
2.根据权利要求1所述的方法,其特征在于,所述调用人工智能模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态,包括:
调用模式识别模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态;
或,
调用机器学习模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态;
或,
调用深度学习模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态。
3.根据权利要求1所述的方法,其特征在于,所述调用人工智能模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态,包括:
对所述声波信号进行特征提取,得到所述声波信号的声波特征;
调用所述人工智能模型对所述声波信号的声波特征进行识别,得到所述声波信号对应的握持姿态;
其中,所述声波特征包括:时域特征和/或频域特征。
4.根据权利要求1至3任一所述的方法,其特征在于,所述通过所述声波发射器发射第一声波,包括:
通过所述声波发射器发射位于超声波频段的第一声波;
所述获取所述声波接收器根据第二声波产生的声波信号,所述第二声波包括所述第一声波遇到障碍物反射回的声波,包括:
通过所述声波接收器接收所述第二声波产生的初始声波信号;
对所述初始声波信号中位于所述超声波频段之外的信号进行滤除,得到滤除后的声波信号。
5.根据权利要求1所述的方法,其特征在于,当所述目标电子器件是所述移动终端中的麦克风器件、且所述麦克风器件包括位于不同位置的第一麦克风器件和第二麦克风器件时,所述根据所述握持姿态改变所述移动终端中的目标电子器件的工作状态,包括:
当所述握持姿态是遮挡所述第一麦克风器件的概率大于第二阈值的姿态、且所述第一麦克风器件处于工作状态时,将处于工作状态的麦克风器件从所述第一麦克风器件切换为所述第二麦克风器件。
6.一种移动终端的握持姿态检测装置,其特征在于,所述移动终端包括声波发射器和声波接收器,所述装置包括:
发射模块,被配置为通过所述声波发射器发射第一声波;
接收模块,被配置为获取所述声波接收器根据第二声波产生的声波信号,所述第二声波包括所述第一声波遇到障碍物反射回的声波;
识别模块,被配置为调用人工智能模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态;
其中,所述人工智能模型是用于根据所述声波信号的声波特征进行握持姿态识别的模型;所述握持姿态包括如下姿态中的至少一种:握持部位姿态、左右手姿态、无姿态;
改变模块,被配置为根据所述握持姿态改变所述移动终端中的目标电子器件的工作状态,所述目标电子器件是工作性能受所述握持姿态影响的器件;
其中,当所述目标电子器件包括所述移动终端中的天线器件、且所述天线器件包括位于不同位置的第一天线器件和第二天线器件时,所述根据所述握持姿态改变所述移动终端中的目标电子器件的工作状态,包括:
当所述握持姿态是遮挡所述第一天线器件的概率大于第一阈值的姿态、且所述第一天线器件处于工作状态时,将处于工作状态的天线器件从所述第一天线器件切换为所述第二天线器件。
7.根据权利要求6所述的装置,其特征在于,
所述识别模块,被配置为调用模式识别模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态;
或,
所述识别模块,被配置为调用机器学习模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态;
或,
所述识别模块,被配置为调用深度学习模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态。
8.根据权利要求6所述的装置,其特征在于,
所述识别模块,被配置为对所述声波信号进行特征提取,得到所述声波信号的声波特征;调用所述人工智能模型对所述声波信号的声波特征进行识别,得到所述声波信号对应的握持姿态;
其中,所述声波特征包括:时域特征和/或频域特征。
9.根据权利要求6至8任一所述的装置,其特征在于,
所述发射模块,被配置为通过所述声波发射器发射位于超声波频段的第一声波;
所述接收模块,被配置为通过所述声波接收器接收所述第二声波产生的初始声波信号;对所述初始声波信号中位于所述超声波频段之外的信号进行滤除,得到滤除后的声波信号。
10.根据权利要求6所述的装置,其特征在于,当所述目标电子器件是所述移动终端中的麦克风器件、且所述麦克风器件包括位于不同位置的第一麦克风器件和第二麦克风器件时,所述改变模块,被配置为当所述握持姿态是遮挡所述第一麦克风器件的概率大于第二阈值的姿态,且所述第一麦克风器件处于工作状态时,将处于工作状态的麦克风器件从所述第一麦克风器件切换为所述第二麦克风器件。
11.一种移动终端,其特征在于,所述移动终端包括:
处理器;
与所述处理器相连的声波发射器和声波接收器;
用于存储所述处理器的可执行指令的存储器;
其中,所述处理器被配置为:
通过所述声波发射器发射第一声波;
获取所述声波接收器根据第二声波产生的声波信号,所述第二声波包括所述第一声波遇到障碍物反射回的声波;
调用人工智能模型对所述声波信号进行识别,得到所述声波信号对应的握持姿态;其中,所述人工智能模型是用于根据所述声波信号的声波特征进行握持姿态识别的模型;所述握持姿态包括如下姿态中的至少一种:握持部位姿态、左右手姿态、无姿态;
根据所述握持姿态改变所述移动终端中的目标电子器件的工作状态,所述目标电子器件是工作性能受所述握持姿态影响的器件;
其中,当所述目标电子器件包括所述移动终端中的天线器件、且所述天线器件包括位于不同位置的第一天线器件和第二天线器件时,所述根据所述握持姿态改变所述移动终端中的目标电子器件的工作状态,包括:
当所述握持姿态是遮挡所述第一天线器件的概率大于第一阈值的姿态、且所述第一天线器件处于工作状态时,将处于工作状态的天线器件从所述第一天线器件切换为所述第二天线器件。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括一个或多个程序指令,当所述一个或多个程序指令被处理器运行时,实现如权利要求1至5任一所述的移动终端的握持姿态检测方法。
CN201811109899.5A 2018-09-21 2018-09-21 移动终端的握持姿态检测方法、装置、设备及存储介质 Active CN109212534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811109899.5A CN109212534B (zh) 2018-09-21 2018-09-21 移动终端的握持姿态检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811109899.5A CN109212534B (zh) 2018-09-21 2018-09-21 移动终端的握持姿态检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109212534A CN109212534A (zh) 2019-01-15
CN109212534B true CN109212534B (zh) 2023-06-30

Family

ID=64985095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811109899.5A Active CN109212534B (zh) 2018-09-21 2018-09-21 移动终端的握持姿态检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109212534B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220101126A1 (en) * 2019-02-14 2022-03-31 Hewlett-Packard Development Company, L.P. Applying directionality to audio
CN111768797A (zh) * 2020-09-01 2020-10-13 深圳市声扬科技有限公司 语音增强处理方法、装置、计算机设备和存储介质
CN112817554A (zh) * 2021-01-20 2021-05-18 北京小米移动软件有限公司 提示音控制方法、提示音控制装置及存储介质
CN113116231A (zh) * 2021-04-02 2021-07-16 深圳乐居智能电子有限公司 一种智能识物方法、装置及智能扫地机器人
CN115834760A (zh) * 2022-09-29 2023-03-21 Oppo广东移动通信有限公司 闹铃调节方法、装置、电子设备以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718064A (zh) * 2016-01-22 2016-06-29 南京大学 基于超声波的手势识别系统与方法
CN106101409A (zh) * 2016-06-07 2016-11-09 维沃移动通信有限公司 一种移动终端及控制方法
CN106797416A (zh) * 2016-10-31 2017-05-31 北京小米移动软件有限公司 屏幕控制方法及装置
CN107656644A (zh) * 2017-09-26 2018-02-02 努比亚技术有限公司 握持识别方法及对应的移动终端
DE102016011772A1 (de) * 2016-10-04 2018-04-05 Pyramid Computer Gmbh Lokalisierungsverfahren, zugehörige Vorrichtung und Verwendung einer Software
CN108196778A (zh) * 2017-12-29 2018-06-22 努比亚技术有限公司 屏幕状态的控制方法、移动终端及计算机可读存储介质
CN108549863A (zh) * 2018-04-11 2018-09-18 腾讯科技(深圳)有限公司 人体姿态预测方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264151B1 (en) * 2009-07-29 2016-02-16 Shopkick, Inc. Method and system for presence detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718064A (zh) * 2016-01-22 2016-06-29 南京大学 基于超声波的手势识别系统与方法
CN106101409A (zh) * 2016-06-07 2016-11-09 维沃移动通信有限公司 一种移动终端及控制方法
DE102016011772A1 (de) * 2016-10-04 2018-04-05 Pyramid Computer Gmbh Lokalisierungsverfahren, zugehörige Vorrichtung und Verwendung einer Software
CN106797416A (zh) * 2016-10-31 2017-05-31 北京小米移动软件有限公司 屏幕控制方法及装置
CN107656644A (zh) * 2017-09-26 2018-02-02 努比亚技术有限公司 握持识别方法及对应的移动终端
CN108196778A (zh) * 2017-12-29 2018-06-22 努比亚技术有限公司 屏幕状态的控制方法、移动终端及计算机可读存储介质
CN108549863A (zh) * 2018-04-11 2018-09-18 腾讯科技(深圳)有限公司 人体姿态预测方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
使用超声波的智能手机手势识别;徐曾春等;《计算机工程与应用》;20180131;第54卷(第2期);第239-245页 *
面向可穿戴设备的超声波手势识别方法;杨晓东等;《计算机科学》;20151015(第10期);第20-24页 *

Also Published As

Publication number Publication date
CN109212534A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
CN109212534B (zh) 移动终端的握持姿态检测方法、装置、设备及存储介质
US11393472B2 (en) Method and apparatus for executing voice command in electronic device
CN110139262B (zh) 蓝牙通信控制方法及相关产品
EP2911149B1 (en) Determination of an operational directive based at least in part on a spatial audio property
RU2688192C1 (ru) Терминал, способ, аппарат и электронное устройство для идентификации касания
CN110163380B (zh) 数据分析方法、模型训练方法、装置、设备及存储介质
CN111124108B (zh) 模型训练方法、手势控制方法、装置、介质及电子设备
CN109639863B (zh) 一种语音处理方法及装置
CN111477243B (zh) 音频信号处理方法及电子设备
CN111210844B (zh) 语音情感识别模型的确定方法、装置、设备及存储介质
CN105607738B (zh) 确定单手模式的方法及装置
CN108900694A (zh) 耳纹信息获取方法和装置、终端、耳机及可读存储介质
CN111158487A (zh) 使用无线耳机与智能终端进行交互的人机交互方法
CN107547704A (zh) 通话mic的切换方法、装置和移动终端
US10885298B2 (en) Method and device for optical fingerprint recognition, and computer-readable storage medium
CN111833872B (zh) 对电梯的语音控制方法、装置、设备、系统及介质
CN114678021A (zh) 音频信号的处理方法、装置、存储介质及车辆
CN113192537B (zh) 唤醒程度识别模型训练方法及语音唤醒程度获取方法
CN112735388B (zh) 网络模型训练方法、语音识别处理方法及相关设备
CN106603381A (zh) 处理聊天信息的方法及装置
CN107958273B (zh) 音量调节方法、装置及存储介质
CN109194810A (zh) 显示控制方法及相关产品
CN108668018A (zh) 移动终端、音量控制方法及相关产品
CN109284783B (zh) 基于机器学习的大礼拜计数方法、装置、用户设备及介质
CN111970593A (zh) 无线耳机的控制方法、装置及无线耳机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant