CN109976625B - 一种终端控制方法、终端及计算机可读存储介质 - Google Patents

一种终端控制方法、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN109976625B
CN109976625B CN201711466427.0A CN201711466427A CN109976625B CN 109976625 B CN109976625 B CN 109976625B CN 201711466427 A CN201711466427 A CN 201711466427A CN 109976625 B CN109976625 B CN 109976625B
Authority
CN
China
Prior art keywords
terminal
audio signal
microphone
relative
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711466427.0A
Other languages
English (en)
Other versions
CN109976625A (zh
Inventor
沈少武
刘立婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201711466427.0A priority Critical patent/CN109976625B/zh
Priority to PCT/CN2018/125011 priority patent/WO2019129230A1/zh
Publication of CN109976625A publication Critical patent/CN109976625A/zh
Priority to US16/892,159 priority patent/US11568888B2/en
Application granted granted Critical
Publication of CN109976625B publication Critical patent/CN109976625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1688Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being integrated loudspeakers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6008Substation equipment, e.g. for use by subscribers including speech amplifiers in the transmitter circuit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L2025/783Detection of presence or absence of voice signals based on threshold decision
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/60Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6016Substation equipment, e.g. for use by subscribers including speech amplifiers in the receiver circuit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Telephone Function (AREA)

Abstract

本发明公开的一种终端控制方法、终端和计算机可读存储介质,通过麦克风接收扬声器发射的满足预设探测频率的探测音频信号;获取探测音频信号的音频参数和探测音频信号从扬声器发射时原始的音频参数;根据音频参数和原始的音频参数,确定麦克风和扬声器的相对状态;根据预设的相对状态与终端控制操作的对应关系确定待执行的终端控制操作;在麦克风所在终端上执行待执行的终端控制操作。本发明中,通过音频信号的检测实现了根据麦克风和扬声器的相对状态控制麦克风所在终端的操作的目的。避免了用户直接对触控屏进行触控操作需要点亮屏幕和点击界面图标的过程,为用户提供了一种新的非触控的终端便捷操作方法,有利于提升用户体验。

Description

一种终端控制方法、终端及计算机可读存储介质
技术领域
本发明涉及终端技术领域,尤其涉及一种终端控制方法、终端及计算机可读存储介质。
背景技术
现如今移动终端的使用场景越来越复杂,业界和用户对终端的智能性能的要求也越来越高。目前,对终端的常规控制一般通过在触控屏被点亮的情况下在触控屏上进行触控操作进行,但是有些时候,用户可能因为某些原因,希望通过其他方式来进行对终端的操作,例如在有些场合,用户可能不便于在屏幕上直接点击画面和按钮,希望可以通过非点击触控屏的方式打开终端的某个功能;在有些场合下,尤其是在终端电量不足的场合下,为了节省终端电量,用户可能希望在不点亮LCD(Liquid Crystal Display,液晶显示器)屏幕的情况下进行亮屏下的操作。
现有技术中,已经公开一些非接触触控屏的终端操作方式,例如申请号为201210555317.2的专利中,公开了一种通过麦克风捕捉扬声器发出的给定频率的声音,识别用户在终端前的控制姿势,将控制姿势映射到控制功能,执行控制功能的方案。
发明内容
本发明实施例提供的一种终端控制方法、终端及计算机可读存储介质,主要解决的技术问题是提供一种新的可在不对触控屏进行触控操作的情况下,实现终端控制功能的方案。
为解决上述技术问题,本发明提供一种终端控制方法,该终端控制方法包括:
通过麦克风接收扬声器发射的满足预设探测频率的探测音频信号;
获取探测音频信号的音频参数,和探测音频信号从扬声器发射时原始的音频参数;
根据该音频参数和原始的音频参数,确定麦克风和扬声器的相对状态;
根据该相对状态,以及预设的相对状态与终端控制操作的对应关系确定待执行的终端控制操作;
在麦克风所在终端上执行待执行的终端控制操作。
为了解决上述技术问题,本发明还提供一种终端,该终端包括处理器、存储器及通信总线;
通信总线用于实现处理器和存储器之间的连接通信;
处理器用于执行存储器中存储的一个或者多个程序,以实现如上述的终端控制方法的步骤。
为了解决上述技术问题,本发明还提供一种计算机可读存储介质,该计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个处理器执行,以实现如上述的终端控制方法的步骤。
有益效果:
基于本发明公开的一种终端控制方法、终端和计算机可读存储介质,可通过麦克风接收扬声器发射的满足预设探测频率的探测音频信号;获取探测音频信号的音频参数,和探测音频信号从扬声器发射时原始的音频参数;可以根据音频参数和原始的音频参数,确定麦克风和扬声器的相对状态;根据确定的该相对状态,以及预设的相对状态与终端控制操作的对应关系,可以确定待执行的终端控制操作是什么,最终在麦克风所在终端上执行确定出的待执行的终端控制操作。本发明中,通过音频信号实现了对麦克风和扬声器所在终端区域的相对状态的确定,从而实现了根据麦克风和扬声器之间的相对状态控制麦克风所在终端的操作的目的。避免了用户直接对触控屏进行触控操作需要点亮屏幕和点击界面图标的过程,为用户提供了一种新的非触控的终端便捷操作方法,有利于提升用户体验。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1为本发明第一实施例提供的一种终端控制方法的基本流程图;
图2为本发明第一实施例提供2KHz的音频信号在声波源和接收器相对静止时的频率波动示意图;
图3为图2中的2KHz的音频信号在声波源和接收器相对运动时的频率波动示意图;
图4为本发明实施例一提供的不可折叠的待控制终端上通过干涉麦克风实现待控制终端上麦克风和扬声器发生虚拟相对运动的示意图;
图5为本发明实施例一提供的在双屏折叠终端上设置多个扬声器和麦克风进行多组音频检测的示意图;
图6为本发明实施例一提供的一种可折叠终端的折叠角度与显示界面的对应关系示意图;
图7为本发明实施例一提供的原始频率为22KHz的探测音频信号,在可折叠终端的可折叠部分两侧的相对速度不同的情况下的频偏检测结果示意图;
图8为本发明实施例一中,Speaker(扬声器)和Mic(麦克风)分别置于双屏折叠终端顶部和底部的布局时,探测音频信号传播示意图;
图9为本发明实施例一中,Speaker和Mic分别置于双屏折叠终端同侧的布局时,探测音频信号沿对角传播的示意图;
图10为本发明实施例一中,翻盖手机折叠运动状态的检测的示意图;
图11为本发明实施例一中,为用户提供的终端控制操作的选择界面示意图;
图12为本发明实施例一中,不同动作元素组合成相对状态,及选择终端控制操作对应相对状态的示意图;
图13为本发明实施例一中,折叠动作输入方式选择界面示意图;
图14为本发明实施例一中,对发射终端和接收终端的相对运动检测的示意图;
图15为本发明实施例二提供的另一种终端控制方法的流程图;
图16为本发明实施例三提供的一种终端的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,下面通过具体实施方式结合附图对本发明实施例作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例一:
本实施例中,提供了一种新的终端控制方案,在该方案中,用户可通过非点击触控屏的方式实现终端控制。例如,用户可以通过某些操作如改变发射探测音频信号的扬声器和接收探测音频信号的麦克风的相对位置来引发扬声器和麦克风之间的相对运动,或达到类似相对运动的效果,从而使得麦克风接收的探测音频信号和扬声器发射的原始的探测音频信号之间存在差异,根据这种差异反推到扬声器和麦克风的相对运动,从而控制麦克风所在终端执行相应的终端控制操作。
如图1所示,本实施例的终端控制方法包括:
S101、通过麦克风接收扬声器发射的满足预设探测频率的探测音频信号;
在本实施例中,扬声器和麦克风的作用分别是发射音频信号和接收音频信号,扬声器的数量在本实施例中是没有限定的。一般地在终端中麦克风后端的电路中还连接有音频编解码芯片等等来对麦克风接收的音频信号进行检测,获取满足预设频率的探测音频信号。
本实施例中,是利用探测音频信号的变化了确定扬声器和麦克风之间的相对状态,该相对状态可以用来表示在麦克风和扬声器相互都是静止的时候,麦克风和扬声器之间存在的某种关系(如相对位置关系,例如,不同终端上的麦克风和扬声器的距离,同一个终端上的麦克风和扬声器在静止状态时候的夹角等),该相对状态还可以表示在麦克风和扬声器中的至少一个发生运动时,麦克风和扬声器之间相互运动(例如,不同终端上的麦克风和扬声器之间是相互远离还是相互靠近,相同的终端上的麦克风和扬声器是相互远离还是相互靠近等等)。所以本实施例的相对状态包括麦克风和扬声器的相对静止状态和相对运动。该相对状态包括相对静止状态和相对运动。为了保证对相对状态判断的准确度,需要选择更优的探测音频信号。在实际中,人耳正常可以听到的是音频信号是20Hz-18KHz,而大于18KHz的音频信号人耳是听不到的。为了避免本实施例中的控制麦克风所在终端进行终端控制操作时,产生人耳可听到的声音,对用户产生干扰,本实施例中,优先选择人耳听不到的音频信号,如频率分别为18KHz,19KHz,20KHz,21KHz,22KHz,23KHz,24KHz等7组频率较高的信号。进一步的,由于频移大小和扬声器发射音频信号时原始频率成正比,为了麦克风接收的音频信号可以有更大的频移,本实施例中可以选择较高的频率作为探测音频信号的发射频率,如20-24KHz间的频率作为发射频率。但是考虑到扬声器和麦克风之间的相对运动会产生频偏,为了避免麦克风后端的电路过滤掉超过如20-24KHz一点点范围的有效的探测音频信号,预设探测频率的范围可以是在探测音频信号发射时的发射频率选择范围的基础上往最大值和最小值的两边进行一定的扩展得到,例如发射频率选择范围为20-24KHz,预设探测频率的范围为(20-0.5)-(24+0.5)KHz。其中,探测音频信号的声波波形根据用户设置或终端设置确定,具体的,声波波形包括但不限于正弦波,方波,锯齿波等。
可以预见的是,在本实施例中,为了完成对探测音频信号的接收,需要麦克风连接的电路将音频解调参数调整到小于20Hz或大于18KHz的范围。进一步的,还可以将音频解调参数调整到上述的预设探测频率的范围,例如上述的(20-0.5)-(24+0.5)KHz,进行更加精确的音频解调。
S102、获取探测音频信号的音频参数,和探测音频信号从扬声器发射时原始的音频参数;
本实施例中,探测音频信号的音频参数指的是麦克风接收时探测音频信号实际的音频参数,包括但不限于探测音频信号的实际频率,实际振幅,接收时间;探测音频信号原始的音频参数指的是扬声器发射时探测音频信号原始的音频参数,包括但不限于探测音频信号的原始频率,原始振幅,发射时间。
在实际中,由于声音波形的时域上的信号特征不明显,所以使用快速傅立叶算法,将麦克风接收到的音频时域信号先滤波后再转化为频域信号,再进行滤波、采样等操作。
在实际中,扬声器发射的固定频率的声波,由于外界环境的干扰,或其他噪声干扰,麦克接收到的声波信号频率可能会有毛刺,即其他频率的杂波信号。因此,为了提升后续确定相对状态的准确度,需要对麦克接收到的音频信号转化的频率信号再进行滤波,提取出有效的可识别频率信号,在本实施例中,通过增加多组带通滤波器来实现,带通滤波器的接收频率的范围为上述的预设探测频率的范围。例如带通滤波器只能接收18KHz-24KHz的信号,小于18KHz及大于24KHz的信号将会被滤除,本实施例中滤除外界的环境频率噪声,以及去除超出阈值范围的不规则频率噪声,就可以基于滤波后的频域信号提取探测音频信号的实际频率。其中,为了提取的频率的准确性,可以从该信号中提取两次或以上次数的频率。
在进行采样时,采样频率根据用户灵敏度检测的需要可以设置为2倍频,3倍频或N倍频,本实施例对此没有限制。一般的手机支持的音频采样率为8,26,32,44,48KHz几种采样率,默认可支持的最大采样率为48KHz,能够支持的最大音频频率为24KHz。在实际设计中,麦克风所在终端开始采用默认采样频率进行采样,如果采集到的数据不够或识别不出来,则自动升高到更高的采样频率,在一个示例中,在默认采样频率可用的情况下,如果为了缩短采样计算时间,还可以采用降频率采样。另外,通过增大采样的点数N,可以得到频率的分辨率为F/N。点数N越大,采样的分辨率越高。
S103、根据该音频参数和原始的音频参数,确定麦克风和扬声器的相对状态;
本实施例的相对状态包括相对静止状态和相对运动,该相对运动可以是实际存在,也可以是用户通过对终端的其他操作(如,对扬声器发射的音频信号的干预)而模拟的虚拟相对运动。在本实施例中,扬声器和麦克风可以是同一个终端上的,也可以是不同的终端上的,本实施例对此没有限定,扬声器或麦克风所在的终端包括但不限于手机、平板、智能手环、笔记本电脑、台式电脑等等。
我们都知道,声波源和接收器的相对运动会影响接收器接收的音频信号的频率,图2示出了频率为2KHz的音频信号在声波源和接收器相对静止时的频率。图3示出了声波源和接收器相对运动时,声波频率的变化趋势,如图3所示,当声波源和接收器相向运动,由于声波源向着接收器靠近,接收器单位时间内接收到的声波脉冲数会增大,声波的会被压缩,波长减小,频率增大(图3中大于2KHz的频率),当声波源和接收器相背运动,由于声波源远离接收器,接收器单位时间内接收到的声波脉冲数会降低,声波的会被拉伸,波长增大,频率减少(小于2KHz的频率)。所以根据接收器接收的音频信号的频率变化,至少可以得到声波源和接收器之间是相互靠近还是相互远离。
基于上述的原理,扬声器产生一定频率的低频或高频音频信号,麦克对该信号进行接收解调。当扬声器和麦克风相对运动时,会出现麦克风接收到的音频波形频率变化的现象。
具体地,当终端上扬声器和麦克相互靠近时,麦克接收到的音频信号由于多普勒效应,其频率相对于扬声器发出的音频信号的频率会增大。当终端上的扬声器和麦克相互远离时,麦克接收到的音频信号由于多普勒效应,其频率相对于扬声器发出的音频信号的频率会减小。
在本实施例中,根据探测音频信号的音频参数和原始的音频参数,至少可以确定麦克风和扬声器是相互靠近还是相互远离。
S104、根据该相对状态,以及预设的相对状态与终端控制操作的对应关系确定待执行的终端控制操作;
为了实现本实施例对终端的灵敏控制,采用的是预先为各终端控制操作设置对应的相对状态,在S103中识别出相对状态后,就可以根据预设的对应关系直接获取到终端控制操作。
其中,本实施例的终端控制操作根据终端类型的不同可以有所差异,以麦克风所在终端为手机为例,手机的终端控制操作包括手机的基本功能,如静音,震动,飞行模式等状态的设置,也可以是前后摄像头的拍照或录像模式的打开,还可以是蓝牙,WIFI,GPS无线功能的打开和建立,还可以是手机分屏功能的开启,还可以是声音或屏幕亮度的调节;手机的终端控制操作还包括对手机上的一些应用程序的操作,例如微信、QQ等应用界面的弹出,试听歌曲的下载等等,本实施例对此没有限制。在一个示例中,终端控制操作可以是只在本终端上实现的操作,还可以是需要和扬声器所在终端交互完成的操作。本实施例对此没有限制。
S105、在麦克风所在终端上执行待执行的终端控制操作。
本实施例中,扬声器和麦克风所在终端存在以下的两种情况:
一:扬声器和麦克风在同一个终端上;
二:扬声器和麦克风在不同的终端上。
以下先基于麦克风与扬声器在同一终端下,如何实现终端控制进行说明,为了便于叙述将该同一终端命名为待控制终端,可以想到的是,S103中所说的相对状态是待控制终端上的扬声器和麦克风的相对状态。
在该场景下,S103中根据音频参数和原始的音频参数,确定麦克风和扬声器分别所在的终端区域的相对状态包括:根据音频参数和原始的音频参数,确定待控制终端上麦克风和扬声器所在区域的相对状态;在麦克风所在终端上执行待执行的终端控制操作包括:在待控制终端上执行待执行的终端控制操作。
以下以待控制终端为不可折叠的终端为例进行示例说明,音频参数包括探测音频信号接收时的实际频率,原始的音频参数包括探测音频信号发射时的原始频率。我们都知道,麦克风和扬声器相互靠近,麦克风接收的音频信号的频率比扬声器发射音频信号时的频率大,麦克风和扬声器相互远离,麦克风接收的音频信号的频率比扬声器发射音频信号时的频率小。而在不可折叠的终端上,麦克风和扬声器之间的实际相对位置一般不会发生变化,所以在本实施例中,不可折叠的终端上麦克风和扬声器之间的相对状态中的相对运动是通过人工干预而产生的一种虚拟的相对运动。
根据音频参数和原始的音频参数,确定待控制终端上麦克风和扬声器所在区域的相对状态包括:若探测音频信号的实际频率低于其原始频率,则确定麦克风和扬声器所在区域的相对状态为虚拟的相互远离状态;若探测音频信号的实际频率高于其原始频率,则确定麦克风和扬声器所在区域的相对状态为虚拟的相互靠近状态。
在该不可折叠的待控制终端上,扬声器和/或麦克风的数量可以是多个,本实施例对该扬声器和麦克风的数量以及设置位置没有限制。待控制终端的虚拟相对运动需要通过人为干涉来实现,例如,如图4所示,不可折叠的终端顶部设置有Mic A和Speaker A,底部设置有Mic B和Speaker B,图中的阴影表示人手对MicA和B的手动干涉,该手动干涉可以使得Mic接收到的音频信号的频率相对于Speaker发出的音频信号的频率有所改变,相当于可折叠终端的折叠操作,例如,若手动干涉可以使得Mic接收到的音频信号的频率相对于Speaker发出的音频信号的频率变大,则麦克风和扬声器所在区域的相对状态为虚拟的相互靠近状态。相当于可折叠终端的合入操作;若手动干涉可以使得Mic接收到的音频信号的频率相对于Speaker发出的音频信号的频率变小,则麦克风和扬声器所在区域的相对状态为虚拟的相互远离状态。相当于可折叠终端的展开操作。在具体使用的过程中,Speaker A被触发后发射特定频率的音频信号,Mic A和Mic B同时接收该音频信号,当两个Mic上方有手指阻挡,动作挥动时,两个Mic接收到的音频信号将会发生变化。通过该音频信号的变化或两个Mic接收到的信号差值,从而控制待控制终端对应的不同的功能调用或显示界面(如LCD界面)显示切换。类似的,用户的干涉动作也可以在两个Speaker上方进行,本实施例对此没有限制。
以下以待控制终端为可折叠的终端为例进行示例说明,该可折叠的性质可以基于柔性屏或终端的折叠部件产生,可折叠的终端的显示屏的数量没有限定制。例如,可折叠终端可以是柔性屏终端,双屏折叠终端如双屏折叠手机等。
在可折叠的待控制终端上,扬声器和麦克风中至少有一对扬声器和麦克风分别设置在该待控制终端的可折叠部分的两侧;如果是柔性屏终端,则一对扬声器和麦克风至少设置在待控制终端的顶部和底部的位置,如果是双面屏折叠终端,则至少一对扬声器和麦克风设置在可折叠部分的两侧。其中,可以理解的是,上述所说的待控制终端上麦克风和扬声器所在区域的相对状态在也待控制终端可折叠的的场景下而已认为是待控制终端上可折叠部分两侧的相对状态。
上述S101中通过麦克风接收扬声器发射的满足预设探测频率的探测音频信号包括:
通过麦克风接收位于待控制终端上的扬声器发射的满足预设探测频率的探测音频信号。为了能够识别可折叠部分两侧的相对状态,上述的扬声器中至少包括一个与麦克风在可折叠部分不同侧的扬声器;其中,可以理解的是,为了避免干扰,各扬声器发射的探测音频信号的频率不同。
为了增加相对状态的检测的精确度,可以增加位于待控制终端可折叠部分两侧的扬声器和麦克风的对数。
下面以待控制终端为双屏折叠终端为例,结合图5进行多对麦克风和扬声器检测的示例说明。如图5所示,双屏折叠终端上具有两个屏幕,分别在两个屏幕的顶部和底部设置有Speaker A和Mic A,以及Speaker B和Mic B。基于终端上具有多个Speaker或Mic时,可以根据不同的麦克风和扬声器组成不同的检测组,为不同的检测组设置不同的检测功能的考虑。如图5所示,可分为1-4组检测组来实现探测音频信号的检测以及根据检测到的探测音频信号控制终端操作。图5的终端上1和2组的麦克风和扬声器对是位于待控制终端可折叠部分两侧的,可以为可折叠部分两侧的相对状态的识别提供两组音频参数,可以提高对待控制终端可折叠部分两侧的相对状态(相对运动或相对静止状态)的判断的精准度。另外,在一个示例中,位于可折叠部分同一侧的扬声器和麦克风,例如3组和4组,可以通过探测音频信号的音频参数对终端的其他状态信息进行检测,从而控制终端的其他功能,该其他状态信息和对应的功能可以根据用户的设置或终端的默认设置而定。例如,若是通过3组和4组检测出用户对终端发起了摇动的操作,则打开微信显示界面。
在本实施例中,可以根据用户想要通过相对状态触发的终端控制操作的数量来确定预设的相对状态与终端控制操作的对应关系中,相对状态的复杂程度,以及相对状态的相对运动设置时涉及的组成元素。
在一个示例中,相对静止状态包括:基于在可折叠部分两侧相对静止时,可折叠部分两侧的角度描述的相对静止状态。例如,在待控制终端上可折叠部分两侧的角度为180度,在待控制终端上可折叠部分两侧的角度为90度等。
该相对静止状态是通过角度这一个组成元素来限定,对应控制的终端控制操作的数量比较少,但是用户操作简单且便于用户记忆折叠的角度和终端控制操作的关系。其中,该终端控制操作可以是上述描述的多种操作。在一个优选的实施例中,可以利用相对静止状态下的不同折叠角度来控制待控制终端的显示界面的切换。例如,如图6所示,当用户将双屏折叠终端(在一个示例中还可以是柔性屏终端)打到一定角度时,两个屏幕呈现出不同的显示内容。如图6中,在90度下显示A、B界面,在180度下切换到C、D界面,120度下切换到E、F界面。另外,可以理解的是,待控制终端上可折叠部分两侧的角度和待控制终端上可折叠部分两侧的一对扬声器和麦克风的距离值可以是相互转化的,该方案也在本发明的保护范围内。
在另一个示例中,相对运动的组成元素包括但不限于相对运动方向、相对速度等等。若是终端控制操作的数量较少,如只有两个,则相对运动可以设置的非常简单,直接将相对运动设置为可折叠部分两侧的展开和合入即可。但是如果终端控制操作的数量较多,则需要增加相对运动的组成元素。
进一步的,预设的相对状态与终端控制操作的对应关系中,相对运动包括:基于可折叠部分两侧的相对运动方向描述的相对运动;相对运动方向包括展开或合入;和基于可折叠部分两侧的角度、可折叠部分两侧的相对速度、可折叠部分两侧的在相对运动方向的运动次数中的至少一种,和可折叠部分两侧的相对运动方向的组合描述的相对运动。
具体的,预设的相对状态与终端控制操作的对应关系中,相对运动至少包括以下的几种设置方式:
1、基于可折叠部分两侧的相对运动方向描述的相对运动,相对运动方向包括对可折叠终端的可折叠部分两侧的展开和合入。
2、基于可折叠部分两侧的相对运动方向和可折叠部分两侧的角度描述的相对运动,例如展开到120度,合入到60度等等。
3、基于可折叠部分两侧的相对运动方向和可折叠部分两侧的相对速度描述的相对运动,例如,快速展开,快速合入,慢速展开、慢速合入等等。
4、基于可折叠部分两侧的相对运动方向和可折叠部分两侧的在相对运动方向的运动次数描述的相对运动,例如,连续两次展开,连续三次合入,展开一次后合入一次等等。
5、基于可折叠部分两侧的相对运动方向、可折叠部分两侧的角度,和可折叠部分两侧在相对运动方向的运动次数描述的相对状态,例如,连续两次展开90度,或从180度展开状态连续三次合入30度,或展开120度一次,再合入90度,或合入90度两次,再展开120度一次等等。
6、基于可折叠部分两侧的相对运动方向、可折叠部分两侧的角度,和可折叠部分两侧的相对速度描述的相对状态,例如,快速展开到80度,慢速合入到120度等等。
7、基于可折叠部分两侧的相对运动方向、可折叠部分两侧在相对运动方向的运动次数,和可折叠部分两侧的相对速度描述的相对状态,例如,快速合入两次,快速展开两次等等。
8、基于可折叠部分两侧的相对运动方向、可折叠部分两侧的角度,可折叠部分两侧在相对运动方向的运动次数,和可折叠部分两侧的相对速度描述的相对运动,例如,连续两次快速展开到90度,或从180度展开状态连续三次快速合入30度等等。
其中,上述涉及到的组成相对运动的组成元素,通过对探测音频信号的检测都是可以得到的。
本实施例中,探测音频信号的音频参数包括麦克风接收时的实际频率、实际振幅、接收时间;探测音频信号原始的音频参数包括:发射时的原始频率,原始振幅、发射时间;
在根据音频参数和原始的音频参数,确定可折叠部分两侧的相对状态时,基于以下的方法对相对静止状态和相对运动进行识别:
首先,从探测音频信号中获取相对于麦克风位于可折叠部分另一侧的扬声器发射的探测音频信号作为第一探测音频信号;当麦克风和扬声器只有一对时,可以直接将接收到的探测音频信号作为第一探测音频信号。考虑到若在待控制终端上设置了多对麦克风和扬声器,则麦克风接收到的探测音频信号可能包含与其在可折叠部分同侧的扬声器发出的探测音频信号,本实施例中,为了判断的准确性,通过上述的步骤进行第一探测音频信号的获取。
1、根据第一探测音频信号的原始频率和实际频率的大小,或根据第一探测音频信号的实际振幅的变化趋势,确定可折叠部分两侧的相对运动方向;
参见图7,图7中以探测音频信号的原始频率为22KHz为例,示出了在相对速度不同的情况下的频偏检测结果。
如图7所示,对可折叠部分两侧进行合入的时候,探测音频信号的实际频率相对于原始频率变大,在可折叠部分两侧进行展开的时候,探测音频信号的实际频率相对于原始频率减小,所以根据第一探测音频信号的原始频率和实际频率的大小可以确定可折叠部分两侧是展开还是合入。
而根据传输距离越远,音频信号的振幅衰减越大的规则,可以知道,若是可折叠部分两侧进行合入,则接收的第一探测音频信号的实际振幅是逐渐增大的;与之相反的是,若是可折叠部分两侧展开,则接收的第一探测音频信号的实际振幅是逐渐减小的,所以根据第一探测音频信号的实际振幅是逐渐增大还是逐渐减小可以确定可折叠部分两侧是展开还是合入。
2、根据第一探测音频信号的发射时间和接收时间,或根据第一探测音频信号的实际振幅和原始振幅,确定可折叠部分两侧的夹角;
在实际中,我们知道,声音的传播速度是固定的,若是终端本身没有相对于外界移动,则当可折叠部分两侧的夹角不同时,声音从可折叠部分两侧的扬声器传输到麦克风所需的时间也是不同的。因为扬声器和麦克风在终端上的位置固定,根据声音从扬声器传输到麦克风所需的时间可以计算出从扬声器到麦克风的直线距离,根据该直线距离和扬声器以及麦克风在终端上的位置可以转换得到扬声器和麦克风所在平面的角度,也即可折叠部分两侧的角度。在另一个方案中,也可以先采集在可折叠部分两侧的角度为不同值时,第一探测音频信号从扬声器传输到麦克风所需的时间,获取该所需时间与可折叠部分两侧的角度的对应关系模型,在音频检测的过程中根据第一探测音频信号的发射时间和接收时间确定传输时间,再将该传输时间和之前的对应关系模型进行比较和计算得到可折叠部分两侧的角度。
对于利用第一探测音频信号的实际振幅和原始振幅,确定可折叠部分两侧的夹角,也可以采用类似的方式,先采集在可折叠部分两侧的角度为不同值时,第一探测音频信号从扬声器传输到麦克风的实际振幅,根据实际振幅和原始振幅确定振幅衰减情况,继而确定振幅衰减情况和可折叠部分两侧的角度的对应关系模型,然后在音频检测的过程中当需要计算可折叠部分两侧的角度时,获取实际振幅、原始振幅和上述的对应关系模型,得到可折叠部分两侧的角度。
上述的方案可以用在计算相对静止状态下和相对运动中可折叠部分两侧的角度。但是可以预见的是,在相互在静止状态下,计算的准确度更高。
进一步的,为了提高测得的可折叠部分两侧(相对静止时)的角度的准确度,可以在扬声器和麦克风之间多次发射和接收音频信号,多次测得音频信号在扬声器和麦克风之间传输的时间,再对时间取平均值。具体的,可以计算声波脉冲的N次传输需要的时间Δt,除以声波脉冲数N,得到的即是单次脉冲的平均传输时间,将可折叠部分两侧的各角度对应的平均传输时间的测试值进行存储作为模型值。
3、根据第一探测音频信号的原始频率和实际频率的差值大小,或根据第一探测音频信号的实际振幅变化速度,确定可折叠部分两侧的相对速度;
在一个示例中,可以根据第一探测音频信号的原始频率和实际频率的差值大小,确定可折叠部分两侧的相对速度。该相对速度可以仅仅是相对速度的等级如快速、慢速,还可以是相对速度的具体值。
参见图7可知,原始频率为22KHz的探测音频信号在慢速合入时,实际频率为22.125KHz,慢速合入对应的探测音频信号的频偏是0.125KHz,根据图7,中速合入时的频偏是0.350KHz,高速合入时的频偏是0.650KHz,不同速度展开时,频偏值大小的规律也是类似的。所以频偏值越大,对两个相对运动方向而言相对速度都越快。所以本实施例中,根据第一探测音频信号的原始频率和实际频率的差值大小,确定可折叠部分两侧的相对速度的快慢。
进一步的,在一个示例中,可以预先划分多个等级的速度,如上述的慢速、中速、高速三个等级,为每个等级设置对应的不同的频偏值范围(一个示例中,各个范围不重叠),当在音频检测过程中根据第一探测音频信号的原始频率和实际频率的差值大小确定频偏值后,可以根据预设的频偏值范围确定相对速度的等级。在一些实施例中,速度的等级还可以划分为两个、四个等等,但是考虑到用户体验的问题,一般划分为不超过三个等级是比较合理的。
在实际中,若是可折叠部分两侧进行合入,则接收的第一探测音频信号的实际振幅是逐渐增大的;与之相反的是,若是可折叠部分两侧展开,则接收的第一探测音频信号的实际振幅是逐渐减小的,可以想到的是,若是合入(或展开)的速度越大,则实际振幅增加(或减少)的速度越快,所以可以根据第一探测音频信号的实际振幅增大或变小的速度,确定可折叠部分两侧的相对速度的大小。
4、根据第一探测音频信号的实际频率相对于其原始频率变大或变小的次数,或根据第一探测音频信号的实际振幅增大或变小的次数,确定可折叠部分两侧在各相对运动方向的运动次数。
就还是参见图7,根据图7最后一行的数据,可以得到原始频频率为22KHz的探测音频信号在可折叠部分两侧先慢速展开再快速合入的时候,其实际频率的变化是先相对于原始频率降低,再相对于原始频率增加,基于这种规律,本实施例中探测音频信号的实际频率相对于原始频率降低的次数就是可折叠部分两侧的展开次数,探测音频信号的实际频率相对于原始频率增加的次数就是可折叠部分两侧的合入次数。
类似的,第一探测音频信号的实际振幅增加的次数为可折叠部分两侧的合入次数,第一探测音频信号的实际振幅逐渐减小的次数为可折叠部分两侧的展开次数。例如,一个第一探测音频信号的实际振幅的变化规律是实际在振幅先增加,再减小,再增加,再减小,则实际振幅增加的次数是两次,可折叠部分两侧的合入的次数为两次,实际振幅减小的次数是两次,可折叠部分两侧的展开的次数也是两次。
本实施例中,根据第一探测音频信号实际振幅增加减少的顺序,可以得到可折叠部分两侧合入和展开的顺序,根据第一探测音频信号相对于实际频率变大或变小的顺序,可以得到可折叠部分两侧合入和展开的顺序。
可以理解的是,上述本实施例中基于探测音频信号得到上述可折叠部分两侧的角度、可折叠部分两侧的相对速度、可折叠部分两侧的在相对运动方向的运动次数和可折叠部分两侧的相对运动方向仅仅是为了示例说明,并不构成对本实施例基于探测音频信号实际的音频参数和原始的音频参数得到可折叠部分两侧的相对状态的方案的限制。
下面结合图8-图10,对可折叠的待控制终端上,通过用户折叠终端进行终端控制操作进行示例说明。
图8示出的是Speaker和Mic分别置于双屏折叠终端顶部和底部的布局时,探测音频信号传播示意图;图中Speaker A和Mic B(或Speaker B和Mic A)之间的信号传输路线是沿着平行于终端的侧边的线路进行的。以Speaker A和Mic B为例,当用户合入该双屏折叠终端时,Mic B接收Speaker A发送的满足预设探测频率的探测音频信号,根据该探测音频信号的实际频率相对于其发射时的原始频率增大的信息,确定用户进行的是合入双屏折叠终端的操作,在双屏折叠终端执行合入动作对应的终端控制操作;并且,在合入动作结束后,Mic B还可以通过接收Speaker A发送的满足预设探测频率的探测音频信号来确定合入后,音频信号从Speaker A到Mic B所需的时间,从而计算出Speaker A到Mic B的距离、以及合入后双屏的角度,类似的,在合入开始前,双屏的角度也可以通过该方式来计算。
图9示出的是Speaker和Mic分别置于双屏折叠终端同侧的布局时,探测音频信号沿对角传播的示意图;通过对对角传输的探测音频信号进行相对运动的检测实现终端控制。图中Speaker A和Mic B(或Speaker B和Mic A)之间的信号传输路线是沿着终端的对角进行的。以Speaker A和Mic B为例,当用户展开该双屏折叠手机时,Mic B接收Speaker A发送的满足预设探测频率的探测音频信号,根据该探测音频信号的实际频率相对于其发射时的原始频率减小的信息,确定用户进行的是展开双屏折叠终端的操作,在双屏折叠终端执行展开动作对应的终端控制操作,并且,在展开动作结束后,Mic B还可以通过接收SpeakerA发送的满足预设探测频率的探测音频信号来确定合入后,音频信号从Speaker A到Mic B所需的时间,从而计算出Speaker A到Mic B的距离、以及展开后双屏的角度,类似的,在双屏展开开始前,双屏的角度也可以通过该方式来计算。
对于柔性屏终端上扬声器和麦克风的设置和折叠动作的识别,与上述双屏折叠终端类似,在此不再赘述。可以想到的是,本实施例中,还可以通过增加麦克风和/或扬声器的数量来增加折叠动作识别的准确性。
对于可折叠终端而言,其一种形式还可以是翻盖手机,图10中示出的是对翻盖手机的折叠运动状态的检测的示意图,其上Speaker和Mic分别置于上部屏幕上方和键盘的下部。当上下屏幕折叠机在展开或折叠过程中,置于键盘下部的mic接收到的由置于上部屏幕上方的Speaker发射的满足预设探测频率的探测音频信号的音频参数,会随着折叠的方向,速度,角度、次数的变化而发生变化,根据上述描述中的方法可以得到折叠动作的具体内容,根据不同的折叠动作显示对翻盖手机的不同终端控制操作,或者控制翻盖手机进入不同的画面显示。
为了提升实际使用中用户对终端的可折叠部分两侧的相对状态和终端控制操作的对应关系的熟悉度,可折叠部分两侧的相对状态和终端控制操作的对应关系可以由用户自己设定。
在预先设置相对状态与终端控制操作的对应关系时,可折叠部分两侧的相对状态的设置方式包括:在用户对待控制终端进行折叠操作时,实时获取待控制终端上可折叠部分两侧的相对状态作为上述对应关系中的相对状态;
例如,在为一个终端控制操作设置对应的相对静止状态时,获取用户操作待控制终端后,可折叠部分两侧的角度作为相对静止状态的组成元素。
或者,获取用户在用户输入界面上输入的相对状态参数得到对应关系中的相对状态。
在后一种设置方式中,终端可以为用户提供如图11所示的显示界面,让用户勾选音频状态检测对应的手机功能,如图12所示的不同动作元素组合及终端控制操作示例,用户可以将绝大部分手机功能勾选为音频状态检测对应的终端控制操作,如手机的飞行模式,静音,震动,手电筒,音量调节,屏幕亮度调节,智能省电,WIFI,蓝牙,GPS,NFC,数据业务的打开与关闭等。
在选择终端控制操作后,终端可以向用户显示每一个终端控制操作的相对运动输入界面,如图13所示的折叠动作输入方式选择界面,为用户提供参数设置和实时检测两种方式,在参数设置方式中,用户可通过显示界面在如图12所示的合入/展开,合入次数/展开次数,可折叠部分两侧的角度,可折叠部分两侧的相对速度四种组成元素中选择组成元素组成自定义的折叠动作。在一个示例中,若是使用参数设置方式设置控制终端控制操作的相对静止状态,则可以只对可折叠部分两侧的角度进行设置。在实时检测的方式中,用户对终端进行折叠,终端检测折叠动作,完成将折叠动作与终端控制操作的映射。
另外,可以理解的是,在一个示例中,可折叠部分两侧的相对状态和终端控制操作的对应关系也可以由终端默认设置提供给用户。
以下是对麦克风与扬声器在不同终端下,如何实现终端控制进行说明。
根据实施例前部分的内容,麦克风与扬声器在不同终端,扬声器所在终端命名为发射终端,麦克风所在终端命名为接收终端。进一步的,发射终端的数量为至少一个,为了对发射终端和接收终端的相对状态进行准确的检测,一个发射终端发射探测音频信号的扬声器的数量可以是多个,为了便于分辨发射终端以及避免干扰,不同的扬声器发射的探测音频信号的频率不同。
在一个示例中,S105中执行的终端控制操作包括接收终端和发射终端的交互操作。该交互操作包括蓝牙连接、数据传输等等。
下面的叙述都以一个发射终端为例,多个发射终端时,在接收终端的控制方式是类似的。
在麦克风与扬声器在不同终端上的场景下,预设的相对状态与终端控制操作的对应关系中的相对状态包括相对运动和相对静止状态:
相对运动包括:基于接收终端与发射终端的相对运动方向描述的相对运动;相对运动方向包括:相对靠近和相对远离;和,基于接收终端和发射终端在各相对运动方向的运动次数、接收终端和发射终端的相对速度中的至少一种和接收终端和发射终端的相对运动方向描述的相对运动;相对运动方向包括:相对靠近和相对远离。
具体的,相对运动包括:
1、基于接收终端与发射终端的相对运动方向描述的相对运动,例如,接收终端和发射终端相对远离或相对接近;
2、基于接收终端与发射终端的相对运动方向、在各相对运动方向的运动次数描述的相对运动,例如,接收终端和发射终端相对远离一次后相对接近,再相对远离;
3、基于接收终端与发射终端的相对运动方向、接收终端和发射终端的相对速度描述的相对运动,例如,接收终端和发射终端的相对快速远离,接收终端和发射终端的相对快速接近;
4、基于接收终端与发射终端的相对运动方向、在各相对运动方向的运动次数、接收终端和发射终端的相对速度描述的相对运动,例如,接收终端和发射终端的相对快速远离一次后慢速接近一次。
上述描述的相对状态都是相对运动,在一个示例中,该相对状态可以是相对静止状态。接收终端和发射终端之间相对静止。
在一个示例中,探测音频信号的音频参数包括实际频率和实际振幅,探测音频信号的原始的音频参数包括原始频率,在根据音频参数和原始的音频参数,确定接收终端和发射终端的相对运动时,基于以下的方法确定相对运动;
根据实际频率相对于原始频率为变大或变小,确定接收终端和发射终端的相对运动方向;其中,变大为相对靠近,变小为相对远离;
根据实际频率相对于原始频率变大或变小的次数,确定接收终端和发射终端在各相对运动方向的运动次数;或,根据实际振幅增大或变小的次数确定接收终端和发射终端在各相对运动方向的运动次数;详细的示例说明参考对上述对可折叠终端中的类似说明,在此不再赘述;
根据实际频率与原始频率的差值的大小,确定接收终端和发射终端的相对速度;或,根据实际振幅增大或变小的速度,确定确定接收终端和发射终端的相对速度;详细的示例说明参考对上述对可折叠终端中的类似说明,在此不再赘述。
下面结合图14对扬声器和麦克风分属于两个手机时,两个手机通过相对运动触发交互操作的方案进行说明。
如下图14所示,Phone A上的Speaker A被触发后发射特定频率(满足预设探测频率)的音频信号,Phone B上的Mic B同时接收该音频信号,当Phone B向着Phone A移动或背向Phone A移动时,Mic B接收到的音频信号将会发生变化。通过该音频参数的变化,和对应的参数模型阈值相比较,从而实现两个手机之间对应的不同的功能调用和互联,比如连接蓝牙,WIFI,文件传输等。
在实际中,外界环境中一般存在噪音,该噪音可能是环境噪音,或其他的电子设备发出的噪音,这些噪音的频率很可能在我们使用的预设探测频率范围内。为了避免这些噪音对本实施例S101-S103音频检测过程产生干扰,形成对终端控制操作的误触发,需要将扬声器产生的特定音频信号(一般为高频信号)分离,同时抑制其他干扰信号,这里主要通过终端内置的音频滤波器件完成。音频接收时只接收扬声器发出的特定频率范围(满足预设探测频率的范围)内的音频信号。考虑到本实施例中扬声器和麦克风的距离一般较近,其接收时的实际振幅相对环境噪声和其他电子产品噪声的振幅是有明显的区别的。所以可以将实际振幅的因素考虑进来筛选探测音频信号。另外,考虑到当有其周围他设备也在发射高频信号并做移动时,由于距离和角度不一样,所以频移值大小也会不一样,由于麦克风和扬声器的距离最近,所以可以获得最大的多普勒频移,因此还可以将各个探测音频信号的频移值考虑进来筛选探测音频信号
在麦克风接收扬声器发射的满足预设探测频率的探测音频信号后,还包括:
通过以下的至少一种方式判断探测音频信号是否为有效探测音频信号:
获取各探测音频信号的实际振幅,当某探测音频信号的实际振幅满足预设振幅范围,则判断某探测音频信号为有效探测音频信号,过滤掉其他不满足预设振幅范围的音频信号;
或,获取各探测音频信号的频移值,将频移值最大的探测音频信号作为有效的探测音频信号接收。
上述第一种方式的判断方式适用于可折叠、不可折叠的待控制终端以及发射终端和接收终端之间。
尤其是对于可折叠的待控制终端,沿着固定的折叠部分折叠时,扬声器和麦克风的距离范围是固定的,这就表示扬声器发射的音频信号达到麦克风时的实际振幅范围固定的(在没有障碍物的情况下)。所以一个示例中,当扬声器和麦克风在同一终端的场景下,该同一终端为可折叠的待控制终端;预设振幅范围是待控制终端的扬声器发射的固定幅度的探测音频信号,在待控制终端的各折叠角度下达到麦克风的实际振幅范围。
其中,这个预设振幅范围的最大值,为以固定振幅发射的探测音频信号在扬声器和麦克风的距离最近时,在扬声器上被接收时的实际振幅,这个预设振幅范围的最小值,为以同样的固定振幅发射的探测音频信号在扬声器和麦克风的距离最远时,在扬声器上被接收时的实际振幅。其他场景下的振幅范围可以以类似的方式得到。
第二种方式中,由于只选了一个探测音频信号为有效的探测音频信号,所以比较适合于发射探测音频信号的扬声器只有一个场景。
可以预见的是,若是将扬声器和麦克风一直开启进行探测音频信号的发射和接收,会浪费资源和电量,缩短续航时间,降低用户体验。所以本实施例中在S101之前,需要有一种触发音频检测的触发控制策略,根据该触发控制策略判断是否使得扬声器持续发射发射探测音频信号,麦克风所在终端是否进行探测音频信号的持续获取、检测和计算等等。
在一个示例中,触发控制策略具体为:在判断探测音频信号是否为有效的探测音频信号前,还包括:
在麦克风关闭的状态下,检测用户是否通过按键操作或手势操作或触控操作触发麦克风所在终端的音频检测功能开启,若是,则开启麦克风进行探测音频信号的获取;若检测结果为否,则不开启麦克风;其中,若麦克风和扬声器在同一终端,则同时开启该终端的扬声器和麦克风。
其中,按键操作包括长按终端功能键一定时长,如长按音量加或音量减的按键,或包括不同按键操作和按键时长的组合,如按压音量加的案件超过第一预设时长之后按压电源键一次。
而目前,用户终端上一般都设置有一些传感器,如陀螺仪、加速度传感器等等,这些传感器在终端处于静止状态时,将不会工作;而当终端运动时,其中之一或全部可以进行工作获取数据,所以可以通过这些传感器是否工作以及工作时获取的数据来判断是否触发麦克风和扬声器的开启。
为了防止终端在运动过程中,而用户本身没有对终端做任何操作,如用户在跑步中,或终端放置在车上等,此时虽然各传感器检测到的值发生了变化,但变化值是持续且相对规则的,此时如果麦克风接收到的是同频信号,则判断终端的运动是由外界的运动产生,用户没有操作。
所以,在另一个示例中,触发控制策略具体为:在判断探测音频信号是否为有效的探测音频信号前,还包括:
监测麦克风所在终端的预设传感器是否工作,根据预设传感器检测到的信号判断麦克风所在终端的运动是否由终端外部的运动产生;若是,则不开启麦克风,若否,则开启麦克风进行探测音频信号的获取;其中,若麦克风和扬声器在同一终端,则同时开启该终端的扬声器和麦克风。
其中预设的传感器是可以检测终端是否运动的传感器,包括但不限于陀螺仪,加速度传感器等。
进一步的,根据预设传感器检测到的信号判断麦克风所在终端的运动是否由终端外部的运动产生包括:
若检测到传感器工作,则获取传感器检测到的信号;
判断信号是否持续且相对规则;
若判断结果为是,则麦克风所在终端的运动由终端外部的运动产生;否,则麦克风所在终端的运动不是由终端外部的运动产生
通过上述的方法,进一步精确了何时开启扬声器和麦克风进行音频探测信号的发射和接收,但是,为了进一步的避免在用户未操作终端的情况下错误地打开扬声器和麦克风进行探测音频信号的传输,造成资源的浪费,降低终端续航,在上述开启麦克风和扬声器之后,还可以设置一个初步探测过程,先控制扬声器在一定时长内发射探测音频信号,若检测到探测音频信号未发生频偏,则及时关闭扬声器和麦克风,降低资源浪费,若监测到频偏,则继续探测音频信号的发射和接收。
进一步的,在开启麦克风和扬声器进行探测前,可以先一步采取措施使得外界噪声不对探测音频信号产生大的干扰。具体的,可以通过避免探测音频信号与外界噪声的频率相同来实现。
本实施例中,还可以通过一种低功耗睡眠唤醒算法来降低麦克风和扬声器一直开启对能量的消耗。该低功耗睡眠唤醒算法控制麦克风周期性地唤醒,监听是否有扬声器发出的满足预设探测频率的探测音频信号,是,则进入正式的音频检测,否,则关闭麦克风。或者该低功耗睡眠唤醒算法控制同一个终端上的麦克风和扬声器同时开启,扬声器发射满足预设探测频率的探测音频信号,若麦克风接收的探测音频信号没有发生多普勒频移,则直接关闭扬声器和麦克风,若发生多普勒频移,则判断该多普勒频移是由终端外部的运动产生还是终端本身的运动产生。
所以,本实施例中,在扬声器发射探测音频信号前,还包括:获取扬声器外部的环境噪声,若环境噪声的频率与预设探测频率有重合,则选择预设探测频率中与环境噪声的频率不同的频率作为将要发射的探测音频信号的频率。
采用本实施例,在折叠终端时,通过特定频率的探测音频信号的发射和接收,可以准确判断出折叠动作,进而确定折叠动作对应的终端控制操作,在双屏折叠终端上执行该终端控制操作,避免了用户直接对触控屏操作需要点亮和操作各种软件图标的过程,为用户提供了一种新的非触控的终端便捷操作方法,有利于提升用户体验。
第二实施例:
下面结合图15以可折叠的双屏折叠手机为例,对通过音频信号检测双屏折叠手机的折叠操作,进而实现终端控制的方法进行示例说明。假设折叠手机上每一个屏幕的上部和下部都分别设置有扬声器和麦克风,位于第一屏幕一侧的第一扬声器和位于第二屏幕一侧的第二麦克风为一对检测组。下面以第一扬声器和第二麦克风之间为例说明终端控制过程。
如图15所示,本实施例的终端控制方法包括:
S1501、用户开启端音频实时状态检测及应用功能,勾选对应的终端控制操作和折叠动作设置。
S1502、通过触发控制策略判断是否打开第一扬声器和第二麦克风进行音频检测;若判断结果为是,进入S1503,否则,保持第一扬声器和第二麦克风关闭。
触发控制策略详见实施例一的相关叙述。
S1503、第一扬声器发射22KHz的探测音频信号。
S1504、第二麦克风接收该探测音频信号并采集探测音频信号。
S1505、对采集到的探测音频信号进行滤波,采样,时域-频域变换及多普勒频移的计算。
S1506、计算探测音频信号的实际振幅及到探测音频信号从第一扬声器到第二麦克风传输所需时间等辅助音频参数。
S1507、检测当前折叠手机接收的探测音频信号的频变化,和/或传输所需时间变化等参数,和/或实际振幅变化等参数,确定当前折叠手机的折叠操作。
S1508、根据当前的折叠操作,以及预设的折叠操作和终端控制操作的对应关系,确定待执行的终端控制操作。
S1509、在折叠手机上执行该终端控制操作。
采用本实施例,在折叠手机上通过特定频率的探测音频信号的发射和接收,可以准确判断出用户的折叠动作,进而确定折叠动作对应的终端控制操作,在双屏折叠终端上执行该终端控制操作,避免了用户直接对触控屏操作需要点亮和操作各种软件图标的过程,为用户提供了一种新的非触控的终端便捷操作方法,有利于提升用户体验。
第二实施例:
如图16所示,在本实施例中,还提供一种终端包括处理器161、存储器162及通信总线163;
通信总线163用于实现处理器161和存储器162之间的连接通信;
处理器161用于执行存储器162中存储的一个或者多个程序,以实现如上述实施例一的终端控制方法的步骤。
进一步的,本实施例还提出一种计算机可读存储介质,计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个处理器执行,以实现如上述实施例一的终端控制方法的步骤。
显然,本领域的技术人员应该明白,上述本发明实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以,本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (18)

1.一种终端控制方法,包括:
通过麦克风接收扬声器发射的满足预设探测频率的探测音频信号;
获取所述探测音频信号的音频参数,和所述探测音频信号从所述扬声器发射时原始的音频参数;其中,所述探测音频信号的音频参数和所述原始的音频参数用于确定麦克风和扬声器是相互靠近还是相互远离;
根据所述音频参数和所述原始的音频参数,确定所述麦克风和所述扬声器的相对状态;
根据所述相对状态,以及预设的相对状态与终端控制操作的对应关系确定待执行的终端控制操作;
在所述麦克风所在终端上执行所述待执行的终端控制操作。
2.如权利要求1所述的终端控制方法,其特征在于,所述麦克风与所述扬声器在同一终端上,所述同一终端为待控制终端;
所述根据所述音频参数和所述原始的音频参数,确定所述麦克风和所述扬声器的相对状态包括:
根据所述音频参数和所述原始的音频参数,确定所述待控制终端上所述麦克风和所述扬声器的相对状态;
所述在所述麦克风所在终端上执行所述待执行的终端控制操作包括:
在所述待控制终端上执行所述待执行的终端控制操作。
3.如权利要求1所述的终端控制方法,其特征在于,所述麦克风与所述扬声器在不同终端上,所述麦克风所在终端为接收终端,所述扬声器所在终端为发射终端;
所述根据所述音频参数和所述原始的音频参数,确定所述麦克风和所述扬声器的相对状态包括:
根据所述音频参数和所述原始的音频参数,确定所述接收终端和发射终端的相对状态;
所述在所述麦克风所在终端上执行所述待执行的终端控制操作包括:
在所述接收终端上执行所述待执行的终端控制操作。
4.如权利要求2所述的终端控制方法,其特征在于,若所述待控制终端不可折叠,所述音频参数包括探测音频信号在接收时的实际频率,所述原始的音频参数包括探测音频信号在发射时的原始频率;
所述根据所述音频参数和所述原始的音频参数,确定所述待控制终端上所述麦克风和所述扬声器的相对状态包括:
若所述探测音频信号的实际频率低于其原始频率,则确定所述麦克风和所述扬声器的相对状态为虚拟的相互远离状态;
若所述探测音频信号的实际频率高于其原始频率,则确定所述麦克风和所述扬声器的相对状态为虚拟的相互靠近状态。
5.如权利要求2所述的终端控制方法,其特征在于,若所述待控制终端可折叠,所述扬声器中至少存在一个扬声器与所述麦克风在所述待控制终端的可折叠部分的不同侧;所述待控制终端上所述麦克风和所述扬声器的相对状态为所述待控制终端上所述可折叠部分两侧的相对状态;
所述通过所麦克风接收扬声器发射的满足预设探测频率的探测音频信号包括:
通过所麦克风接收位于所述待控制终端上的扬声器发射的满足预设探测频率的探测音频信号;其中,各扬声器发射的探测音频信号的频率不同。
6.如权利要求5所述的终端控制方法,其特征在于,所述预设的相对状态与终端控制操作的对应关系中,所述相对状态包括:相对静止状态和相对运动;
所述相对静止状态包括:
基于在所述可折叠部分两侧相对静止时,所述可折叠部分两侧的角度描述的相对静止状态;
所述相对运动包括:
基于所述可折叠部分两侧的相对运动方向描述的相对运动;所述相对运动方向包括展开或合入;
或,基于所述可折叠部分两侧的角度、所述可折叠部分两侧的相对速度、所述可折叠部分两侧的在相对运动方向的运动次数中的至少一种,和所述可折叠部分两侧的相对运动方向的组合描述的相对运动。
7.如权利要求6所述的终端控制方法,其特征在于,所述探测音频信号的音频参数包括实际频率、实际振幅、接收时间;所述探测音频信号原始的音频参数包括:原始频率,原始振幅、发射时间;
在根据所述音频参数和所述原始的音频参数,确定所述可折叠部分两侧的相对状态时,基于以下的方法对所述相对静止状态和相对运动进行识别:
从所述探测音频信号中获取相对于所述麦克风位于所述可折叠部分另一侧的扬声器发射的探测音频信号作为第一探测音频信号;
根据所述第一探测音频信号的原始频率和实际频率的大小,或根据所述第一探测音频信号的实际振幅的变化趋势,确定所述可折叠部分两侧的相对运动方向;
根据所述第一探测音频信号的发射时间和接收时间,或根据第一探测音频信号的实际振幅和原始振幅,确定所述可折叠部分两侧的角度;
根据所述第一探测音频信号的原始频率和实际频率的差值大小,或根据所述第一探测音频信号的实际振幅变化速度,确定所述可折叠部分两侧的相对速度;
根据所述第一探测音频信号的实际频率相对于其原始频率变大或变小的次数,或根据所述第一探测音频信号的实际振幅变大或变小的次数,确定所述可折叠部分两侧在各相对运动方向的运动次数。
8.如权利要求6所述的终端控制方法,其特征在于,在预先设置相对状态与终端控制操作的对应关系时,所述相对状态的获取方式包括:
在用户对所述待控制终端进行折叠操作时,获取所述待控制终端上所述可折叠部分两侧的相对状态作为所述对应关系中的相对状态;
或者,获取用户在用户输入界面上输入的相对状态参数得到所述对应关系中的相对状态。
9.如权利要求3所述的终端控制方法,其特征在于,所述终端控制操作包括所述接收终端和所述发射终端的交互操作。
10.如权利要求3所述的终端控制方法,其特征在于,在所述预设的相对状态与终端控制操作的对应关系中的所述相对状态包括:
基于所述接收终端与发射终端的相对运动方向描述的相对运动;所述相对运动方向包括:相对靠近和相对远离;
或,基于所述接收终端和发射终端在各相对运动方向的运动次数、所述接收终端和发射终端的相对速度中的至少一种和所述接收终端和发射终端的相对运动方向组合描述的相对运动;所述相对运动方向包括:相对靠近和相对远离。
11.如权利要求10所述的终端控制方法,其特征在于,所述探测音频信号的音频参数包括实际频率和实际振幅,探测音频信号的原始的音频参数包括原始频率和原始振幅,在根据所述音频参数和所述原始的音频参数,确定所述接收终端和发射终端的相对运动时,基于以下的方法确定所述相对运动;
根据所述实际频率相对于所述原始频率为变大或变小,确定所述接收终端和发射终端的相对运动方向;
根据所述实际频率相对于所述原始频率变大或变小的次数,确定所述接收终端和发射终端在各相对运动方向的运动次数;或,根据所述实际振幅相对于所述原始振幅增大或变小的次数确定所述接收终端和发射终端在各相对运动方向的运动次数;
根据所述实际频率与所述原始频率的差值的大小,确定所述接收终端和发射终端的相对速度;或,根据所述实际振幅增大或变小的速度,确定所述接收终端和发射终端的相对速度。
12.如权利要求1-11任一项所述的终端控制方法,其特征在于,在麦克风接收扬声器发射的满足预设探测频率的探测音频信号后,还包括:
通过以下的至少一种方式判断所述探测音频信号是否为有效的探测音频信号:
获取各探测音频信号的实际振幅,当某探测音频信号的实际振幅满足预设振幅范围,则将所述某探测音频信号作为有效的探测音频信号;
或,获取各探测音频信号的频移值,将所述频移值最大的探测音频信号作为有效的探测音频信号。
13.如权利要求12所述的终端控制方法,其特征在于,在扬声器和麦克风在同一终端的场景下,且该同一终端为可折叠的待控制终端;
所述预设振幅范围是所述待控制终端的扬声器发射的固定幅度的探测音频信号,在所述待控制终端的各折叠角度下达到所述麦克风的实际振幅的范围。
14.如权利要求12所述的终端控制方法,其特征在于,在判断所述探测音频信号是否为有效的探测音频信号前,还包括:
在所述麦克风关闭的状态下,检测用户是否通过按键操作或手势操作触发所述麦克风所在终端的音频检测功能开启,若是,则开启所述麦克风进行所述探测音频信号的获取;若检测结果为否,则不开启麦克风;其中,若麦克风和扬声器在同一终端,则同时开启该终端的扬声器和麦克风;
或者,监测所述麦克风所在终端的预设传感器是否工作,根据所述预设传感器检测到的信号判断所述麦克风所在终端的运动是否由所述终端外部的运动产生;若是,则不开启所述麦克风,若否,则开启所述麦克风进行所述探测音频信号的获取;其中,若所述麦克风和扬声器在同一终端,则同时开启该终端的扬声器和麦克风。
15.如权利要求14所述的终端控制方法,其特征在于,根据所述预设传感器检测到的信号判断所述麦克风所在终端的运动是否由所述终端外部的运动产生包括:
若监测到预设传感器工作,则获取所述预设传感器检测到的信号;
判断所述信号是否持续且相对规则;
若判断结果为是,则所述麦克风所在终端的运动由所述终端外部的运动产生;否,则所述麦克风所在终端的运动不是由所述终端外部的运动产生。
16.如权利要求1-11任一项所述的终端控制方法,其特征在于,在扬声器发射所述探测音频信号前,还包括:
获取所述扬声器外部的环境噪声,若所述环境噪声的频率与所述预设探测频率有重合,则选择所述预设探测频率中与所述环境噪声的频率不同的频率作为将要发射的探测音频信号的频率。
17.一种终端,所述终端包括处理器、存储器及通信总线;
所述通信总线用于实现处理器和存储器之间的连接通信;
所述处理器用于执行存储器中存储的一个或者多个程序,以实现如权利要求1至16中任一项所述的终端控制方法的步骤。
18.一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1至16中任一项所述的终端控制方法的步骤。
CN201711466427.0A 2017-12-28 2017-12-28 一种终端控制方法、终端及计算机可读存储介质 Active CN109976625B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201711466427.0A CN109976625B (zh) 2017-12-28 2017-12-28 一种终端控制方法、终端及计算机可读存储介质
PCT/CN2018/125011 WO2019129230A1 (zh) 2017-12-28 2018-12-28 终端控制方法、终端及计算机可读存储介质
US16/892,159 US11568888B2 (en) 2017-12-28 2020-06-03 Terminal control method, terminal and non-transitory computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711466427.0A CN109976625B (zh) 2017-12-28 2017-12-28 一种终端控制方法、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109976625A CN109976625A (zh) 2019-07-05
CN109976625B true CN109976625B (zh) 2022-10-18

Family

ID=67063263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711466427.0A Active CN109976625B (zh) 2017-12-28 2017-12-28 一种终端控制方法、终端及计算机可读存储介质

Country Status (3)

Country Link
US (1) US11568888B2 (zh)
CN (1) CN109976625B (zh)
WO (1) WO2019129230A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109976625B (zh) 2017-12-28 2022-10-18 中兴通讯股份有限公司 一种终端控制方法、终端及计算机可读存储介质
CN111078178B (zh) * 2018-10-19 2023-09-01 青岛海信移动通信技术有限公司 弯折角度的确定方法、装置、设备及存储介质
US11157058B2 (en) * 2019-05-29 2021-10-26 Motorola Mobility Llc Setting polling interval of open/closed position sensor for a movable portion of an electronic device based on activity state of the electronic device
CN110580141B (zh) * 2019-08-07 2022-09-30 上海摩软通讯技术有限公司 移动终端
CN111770233B (zh) * 2020-06-23 2021-06-11 Oppo(重庆)智能科技有限公司 一种频率补偿方法及终端设备
CN112261180B (zh) * 2020-10-12 2022-03-08 维沃移动通信有限公司 电子设备、电子设备的控制方法
US20220310111A1 (en) * 2021-03-23 2022-09-29 International Business Machines Corporation Superimposing high-frequency copies of emitted sounds
KR20220134308A (ko) * 2021-03-26 2022-10-05 삼성전자주식회사 음성 신호 처리를 위한 전자 장치 및 방법
CN113114822B (zh) * 2021-04-30 2024-05-07 深圳市中诺通讯有限公司 一种控制数码产品的方法
CN113208253B (zh) * 2021-04-30 2023-12-19 深圳市中诺通讯有限公司 一种保护套和保护套控制数码产品的方法
CN117056895A (zh) * 2022-05-07 2023-11-14 华为技术有限公司 目标设备选择的识别方法、终端设备、系统和存储介质
CN115996346A (zh) * 2022-11-18 2023-04-21 深圳市维仕声学有限公司 一种扬声器控制方法及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103645848A (zh) * 2013-12-13 2014-03-19 广东小天才科技有限公司 一种基于超声波的终端控制方法和终端控制装置
CN103718574A (zh) * 2011-07-28 2014-04-09 汤姆逊许可公司 音频校准系统和方法
CN105388458A (zh) * 2015-11-19 2016-03-09 广州杰赛科技股份有限公司 一种球状传感器及侦测系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI111896B (fi) * 1995-11-24 2003-09-30 Nokia Corp Kaksitoimisen tiedonvälityslaitteen käyttöä helpottava toiminto ja kaksitoiminen tiedonvälityslaite
US8391851B2 (en) * 1999-11-03 2013-03-05 Digimarc Corporation Gestural techniques with wireless mobile phone devices
US7180502B2 (en) * 2004-03-23 2007-02-20 Fujitsu Limited Handheld device with preferred motion selection
US20060132431A1 (en) * 2004-12-17 2006-06-22 Eliezer Oren E Multi-function digital device as a human-input-device for a computer
US20090265671A1 (en) * 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
CN101276514A (zh) * 2008-03-31 2008-10-01 深圳创维-Rgb电子有限公司 一种电子设备的控制方法、系统及装置
US8516561B2 (en) * 2008-09-29 2013-08-20 At&T Intellectual Property I, L.P. Methods and apparatus for determining user authorization from motion of a gesture-based control unit
US8543061B2 (en) * 2011-05-03 2013-09-24 Suhami Associates Ltd Cellphone managed hearing eyeglasses
TW201319927A (zh) * 2011-11-02 2013-05-16 Quanta Comp Inc 音訊處理系統及音訊暫存器之調整方法
US8749485B2 (en) 2011-12-20 2014-06-10 Microsoft Corporation User control gesture detection
CN103379194A (zh) 2012-04-24 2013-10-30 易晓军 防摔手机膜
CN103116976B (zh) * 2012-11-09 2015-08-12 魏显辉 基于声频信号无线控制智能电话或平板电脑的方法及系统
KR102036783B1 (ko) * 2013-09-05 2019-10-25 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
CN103645869A (zh) 2013-11-15 2014-03-19 飞依诺科技(苏州)有限公司 防止显示器跌落的装置及方法
US9733714B2 (en) * 2014-01-07 2017-08-15 Samsung Electronics Co., Ltd. Computing system with command-sense mechanism and method of operation thereof
KR101855725B1 (ko) * 2014-01-13 2018-06-20 삼성전자주식회사 오디오 출력 제어 방법 및 이를 지원하는 전자 장치
CN105094298B (zh) 2014-05-13 2018-06-26 华为技术有限公司 终端以及基于该终端的手势识别方法
US9794692B2 (en) * 2015-04-30 2017-10-17 International Business Machines Corporation Multi-channel speaker output orientation detection
CN105045385A (zh) 2015-06-29 2015-11-11 山东超越数控电子有限公司 一种基于双麦克的终端手势识别方法
CN105246015A (zh) * 2015-11-11 2016-01-13 上海斐讯数据通信技术有限公司 一种电子设备及其扬声器音源的检测方法及系统
CN105785353B (zh) 2016-03-30 2018-05-11 南京大学 一种基于可穿戴音频设备的行人相对位置定位方法
CN106056061B (zh) 2016-05-26 2019-05-21 南京大学 一种基于可穿戴设备的日常抽烟行为检测方法
CN106484359B (zh) 2016-10-31 2019-12-27 维沃移动通信有限公司 一种手势控制的方法及移动终端
CN109976625B (zh) 2017-12-28 2022-10-18 中兴通讯股份有限公司 一种终端控制方法、终端及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103718574A (zh) * 2011-07-28 2014-04-09 汤姆逊许可公司 音频校准系统和方法
CN103645848A (zh) * 2013-12-13 2014-03-19 广东小天才科技有限公司 一种基于超声波的终端控制方法和终端控制装置
CN105388458A (zh) * 2015-11-19 2016-03-09 广州杰赛科技股份有限公司 一种球状传感器及侦测系统

Also Published As

Publication number Publication date
US11568888B2 (en) 2023-01-31
WO2019129230A1 (zh) 2019-07-04
US20200294533A1 (en) 2020-09-17
CN109976625A (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN109976625B (zh) 一种终端控制方法、终端及计算机可读存储介质
EP2820536B1 (en) Gesture detection based on information from multiple types of sensors
US9129546B2 (en) Electronic device and method for changing setting value
CN108646971B (zh) 屏幕发声控制方法、装置以及电子装置
CN109194796A (zh) 屏幕发声方法、装置、电子装置及存储介质
CN109240551B (zh) 使用手势控制电子装置的方法及相关产品
CN109032558A (zh) 发声控制方法、装置、电子装置及计算机可读介质
CN110908579B (zh) 触控响应方法及电子设备
JP6907191B2 (ja) ダブルナックルタッチスクリーン制御のためのシステムおよび方法
CN109040919B (zh) 发声方法、装置、电子装置及计算机可读介质
CN112383857B (zh) 耳机控制方法、控制装置以及耳机
CN105487725B (zh) 电子设备及其控制方法
WO2017048352A1 (en) Finger gesture sensing device
CN109144249B (zh) 屏幕发声方法、装置、电子装置及存储介质
CN109240413B (zh) 屏幕发声方法、装置、电子装置及存储介质
CN108769327A (zh) 显示屏发声的方法、装置、电子装置及存储介质
WO2019201102A1 (zh) 操作手势设置方法、装置、移动终端以及存储介质
CN105607738B (zh) 确定单手模式的方法及装置
CN108810198A (zh) 发声控制方法、装置、电子装置及计算机可读介质
CN111599273B (zh) 显示屏的控制方法、装置、终端设备及存储介质
CN107466387B (zh) 一种检测触摸方式的方法及装置
CN110930964B (zh) 一种显示屏亮度调节方法、装置、存储介质及终端
CN108769364B (zh) 通话控制方法、装置、移动终端及计算机可读介质
CN109062536B (zh) 屏幕发声方法、装置、电子装置及存储介质
CN110837296B (zh) 一种应用分身管理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant