CN111785267A - 一种交互控制方法、装置及计算机可读存储介质 - Google Patents
一种交互控制方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111785267A CN111785267A CN202010620158.4A CN202010620158A CN111785267A CN 111785267 A CN111785267 A CN 111785267A CN 202010620158 A CN202010620158 A CN 202010620158A CN 111785267 A CN111785267 A CN 111785267A
- Authority
- CN
- China
- Prior art keywords
- interactive control
- user
- signal
- control instruction
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000003993 interaction Effects 0.000 title claims abstract description 54
- 230000002452 interceptive effect Effects 0.000 claims abstract description 140
- 230000005236 sound signal Effects 0.000 claims abstract description 114
- 230000009471 action Effects 0.000 claims abstract description 75
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 60
- 210000000214 mouth Anatomy 0.000 claims abstract description 48
- 238000004891 communication Methods 0.000 claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims description 47
- 230000001960 triggered effect Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 52
- 230000001276 controlling effect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 210000003625 skull Anatomy 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000015111 chews Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000009963 fulling Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
本申请提供了一种交互控制方法、装置及计算机可读存储介质,该交互控制方法包括:控制骨传导麦克风采集用户口腔动作产生的音频信号;根据音频信号的信号特征确定对应的交互控制指令;基于与被控设备的通信连接,将交互控制指令发送至被控设备。通过本申请方案的实施,将独立于被控设备的骨传导麦克风作为操控被控设备的人机交互接口,可解放用户双手,提高用户的操控便捷性;另外,基于用户口腔动作来输入交互控制指令,操作实现方式相对不易被外界发现,可提高用户的操控隐私性。
Description
技术领域
本申请涉及电子技术领域,尤其涉及一种交互控制方法、装置及计算机可读存储介质。
背景技术
随着终端技术的快速发展,手机等电子装置在用户的工作和生活中使用频率越来越高,例如用户会使用电子装置打游戏、播放音视频等。目前,为了满足用户对电子装置的操控需求,通常是将电子装置自身所设置的虚拟按键、实体按键、手势识别控件等作为人机交互接口。然而,一方面,这些交互方式都需要占用用户的双手,不方便用户在操控电子装置的同时做其它事情,操控便捷性较差;另一方面,这些交互方式容易暴露用户的具体操作实现,操控隐私性较低。
发明内容
本申请实施例提供了一种交互控制方法、装置及计算机可读存储介质,至少能够解决相关技术中将电子装置自身所设置的虚拟按键、实体按键、手势识别控件等作为人机交互接口,所导致的操控便捷性和操控隐私性较低的问题。
本申请实施例第一方面提供了一种交互控制方法,应用于设置有骨传导麦克风的电子装置,包括:
控制所述骨传导麦克风采集用户口腔动作产生的音频信号;
根据所述音频信号的信号特征确定对应的交互控制指令;
基于与被控设备的通信连接,将所述交互控制指令发送至所述被控设备。
本申请实施例第二方面提供了一种交互控制装置,应用于设置有骨传导麦克风的电子装置,包括:
采集模块,用于控制所述骨传导麦克风采集用户口腔动作产生的音频信号;
确定模块,用于根据所述音频信号的信号特征确定对应的交互控制指令;
发送模块,用于基于与被控设备的通信连接,将所述交互控制指令发送至所述被控设备。
本申请实施例第三方面提供了一种电子装置,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时,实现上述本申请实施例第一方面提供的交互控制方法中的各步骤。
本申请实施例第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,实现上述本申请实施例第一方面提供的交互控制方法中的各步骤。
由上可见,根据本申请方案所提供的交互控制方法、装置及计算机可读存储介质,控制骨传导麦克风采集用户口腔动作产生的音频信号;根据音频信号的信号特征确定对应的交互控制指令;基于与被控设备的通信连接,将交互控制指令发送至被控设备。通过本申请方案的实施,将独立于被控设备的骨传导麦克风作为操控被控设备的人机交互接口,可解放用户双手,提高用户的操控便捷性;另外,基于用户口腔动作来输入交互控制指令,操作实现方式相对不易被外界发现,可提高用户的操控隐私性。
附图说明
图1为本申请第一实施例提供的交互控制方法的基本流程示意图;
图2为本申请第一实施例提供的一种音频信号的示意图;
图3为本申请第一实施例提供的一种音频信号采集方法的流程示意图;
图4为本申请第二实施例提供的交互控制方法的细化流程示意图;
图5为本申请第三实施例提供的一种交互控制装置的程序模块示意图;
图6为本申请第三实施例提供的另一种交互控制装置的程序模块示意图;
图7为本申请第四实施例提供的电子装置的结构示意图。
具体实施方式
为使得本申请的发明目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了解决相关技术中将电子装置自身所设置的虚拟按键、实体按键、手势识别控件等作为人机交互接口,所导致的操控便捷性和操控隐私性较低的缺陷,应用于设置有骨传导麦克风的电子装置,例如骨传导耳机、骨传导眼镜等穿戴式电子装置,该电子装置为独立于被控设备的硬件模块。
本申请第一实施例提供了一种交互控制方法,如图1为本实施例提供的交互控制方法的基本流程图,该交互控制方法包括以下的步骤:
步骤101、控制骨传导麦克风采集用户口腔动作产生的音频信号。
具体的,本实施例的用户口腔动作可以为牙齿动作和/或嘴部动作,而牙齿动作可以包括牙齿咬合动作、牙齿敲击动作、牙齿摩擦动作等动作类型,而嘴部动作可以包括抿嘴动作、啵嘴动作等。由于设置有骨传导麦克风的电子装置被用户佩戴于头部,骨传导麦克风与用户头部相接触,在用户口腔做出动作时,所产生的声音可以通过颅骨传导到骨传导麦克风上,而被麦克风采集。
在实际应用中,为了保证用户口腔动作输入时机的准确性,可以响应于用户的交互控制请求,输出交互控制功能激活提示,用以提示设置有骨传导麦克风的电子装置的交互控制功能已经被激活,用户根据提示可以开始做出口腔动作。应当说明的是,本实施例的激活提示的具体实现方式可以为震动提示、声音提示等。
在本实施例一些实施方式中,在控制骨传导麦克风采集用户口腔动作产生的音频信号之前,还包括:在接收到指令查询请求时,获取对应于指令查询请求的用户口腔动作;控制电子装置的骨传导扬声器对用户口腔动作输出提示。
具体的,考虑到用户对被控设备的控制需求较为繁杂,在实际应用中可能涉及到对不同的应用以及应用内不同任务的控制,而若控制对象种类较多时,用户可能不能准确记忆各控制指令所需对应触发的口腔动作,而为了保证用户控制被控设备的准确性和有效性,本实施例可以根据用户触发的指令查询请求,获取用户当前所需进行的控制类型所对应的口腔动作,然后将该口腔动作通过扬声器进行输出提示,以引导用户正确执行口腔动作。此外,还应当说明的是,该指令查询请求可以由用户通过语音触发,然后骨传导麦克风采集语音后识别用户操控意图,进而根据用户操控意图对应匹配用户口腔动作。
在本实施例另一些实施方式中,在控制骨传导麦克风采集用户口腔动作产生的音频信号之前,还包括:控制骨传导麦克风采集用户语音信号;将用户语音信号对应的声纹特征与预设的合法声纹特征进行比对。
具体的,在本实施例中,考虑到设置有骨传导麦克风的电子装置可能会被非机主的其它用户借用,而在这种情况下,其它用户通常并不知晓本实施例的交互控制逻辑,而由于其它用户在使用该设置有骨传导麦克风的电子装置时可能会无意识的触发口腔动作,若仍执行该交互控制逻辑则会导致错误控制,影响用户的正常使用。基于此,本实施例先对使用者进行身份识别,确定使用者是否为合法用户,这里的身份识别方式优选的采用声纹识别,当然在其它实施方式中也可以采用虹膜识别等,若声纹特征比对通过而确定使用者为合法用户时,才触发执行控制骨传导麦克风采集对应于用户口腔动作的音频信号的步骤。由此,通过有针对性的触发本实施例的交互控制流程,可以有效保证交互控制的准确性。
步骤102、根据音频信号的信号特征确定对应的交互控制指令。
如图2所示为本实施例提供的一种音频信号的示意图,图中横轴标识音频信号的采样时间,纵轴标识音频信号的波幅,本实施例的信号特征可以包括波幅、波数和波频中至少一种,不同用户口腔动作所产生的音频信号的信号特征有所不同,在实际应用中,可以针对各信号特征对应配置交互控制指令,从而在采集到音频信号之后,提取音频信号的信号特征,即可对应确定当前所需触发的交互控制指令。
以下以一个具体的例子对上述交互控制指令的确定流程进行说明,例如在用户牙齿敲击一次时,所采集到的音频信号的波数为一,且波幅大于预设波幅阈值,可以对应确定以期触发的交互控制指令为确认指令,而用户牙齿敲击两次时,所采集到的音频信号的波数为二,且两个波的波幅均大于预设波幅阈值,可以对应确定以期触发的交互控制指令为返回指令,而若用户牙齿执行摩擦动作时,所采集到的音频信号的波频大于预设波频阈值,可以对应确定以期触发的交互控制指令为返回主界面指令。当然,在实际应用中,除了可以出发上述简单的指令之外,还可以根据用户需求自定义其它复杂的操作指令,本实施例对此不作唯一限定。
在本实施例的一些实施方式中,根据音频信号的信号特征确定对应的交互控制指令包括:在确定处于关联控制场景时,获取与上一次进行交互控制时所触发的交互控制指令相对应的交互控制指令索引表;通过音频信号的信号特征,在交互控制指令索引表中查询对应于音频信号的信号特征的交互控制指令。
具体的,在本实施例中,可以基于交互控制指令索引表查询信号特征对应的交互控制指令。在实际应用中,考虑到用户相邻的两次交互控制行为之间存在关联,例如前次控制被控设备调出系统设置菜单,而后次控制被控设备调出系统设置菜单中某一设置项的下级菜单,由此,本实施例可以对当前电子装置的运行场景进行获取,当确定当前处于关联控制场景(例如一级菜单被调出)时,在前次关联控制时所采用的交互控制指令索引表中,继续调出对应于前次交互控制指令的下级索引表,以查询本次以期触发的关联控制指令,可以有效区分独立控制需求和关联控制需求,提高交互控制的智能性。
步骤103、基于与被控设备的通信连接,将交互控制指令发送至被控设备。
具体的,本实施例的被控设备可以为手机、平板电脑等,而设置有骨传导麦克风的电子装置可以采用蓝牙、Zigbee等通信方式与被控设备建立通信连接,以将交互控制指令发送到被控设备上,进而对被控设备进行控制交互。
应当说明的是,采用本实施例的上述方案,一方面,在用户手持被控设备进行使用的场景下,基于设置有骨传导麦克风的电子装置,用户可以解放双手,使用手之外的身体部位也即牙齿和/或嘴部来进行被控设备的操控,提高了操作便捷性;另一方面,声音在固体中的传递速度要快于在空气中的传递速度,而且声音的损失也相对较小,一些微小的敲击声、摩擦声可以通过固体传播很远的距离,相对于现有方案中通过被控设备自身进行语音识别操控指令的有效性和准确性更高;此外,当用户触发口腔动作时,所产生的声音通过颌骨传递到颅骨上,然后可以被骨传导麦克风采集到,而在外界,其他人根本听不到用户口腔动作所产生的声音,并且更难察觉到用户的动作,所以可以在悄无声息的情况下对被控设备进行操控,可有效提高操控隐私性,在电子支付等场景下可以有效保证安全性。
如图3所示为本实施例提供的一种音频信号采集方法的流程示意图,在本实施例的一些实施方式中,在控制骨传导麦克风采集用户口腔动作产生的音频信号时,具体包括以下步骤:
步骤301、控制骨传导麦克风进行音频信号采集,得到整体音频信号;
步骤302、对整体音频信号进行分流处理,得到多个音频信号流;
步骤303、将多个音频信号流中与预设的信号特征相匹配的音频信号,确定为用户口腔动作产生的音频信号。
具体的,在实际应用中,受环境因素和用户行为的影响,骨传导麦克风在进行音频信号采集时,除了采集到用户口腔动作所产生的音频信号之外可能还会采集到其它类型的音频信号,本实施例的整体音频信号也即包括上述所有音频信号,而由于整体音频信号中有用户口腔动作所产生的音频信号之外的干扰信号存在,可能会影响信号交互控制指令确定的准确性,从而本实施例在采集得到整体音频信号之后,根据不同来源音频信号的信号差异来对整体音频信号进行分流,分别得到各来源的音频信号的信号流,然后再按照对应于用户口腔动作的音频信号的信号特征,从所有音频信号流中匹配出正确的音频信号,以对干扰音频信号进行筛除。
在本实施例的一些实施方式中,在根据音频信号的信号特征确定对应的交互控制指令之前,还包括:基于信号特征分析用户口腔动作的动作属性;将动作属性与预设的有效控制动作属性进行比对。
具体的,在本实施例中,考虑到用户口腔在做动作时,有可能是无意识的动作,例如用户在咀嚼食物时所产生的牙齿动作,进而所对应产生的音频信号并非基于用户实际操控需求所产生的音频信号,而若将其作为交互控制指令的参考因素,则会导致对被控设备的错误控制。基于此,本实施例在基于音频信号确定交互控制指令之前,先对产生该音频信号的用户口腔动作是否为有效控制动作进行确定,也即基于该音频信号的信号特征对用户口腔动作的动作属性进行动作有效性分析,本实施例的动作属性包括动作频率、动作力度等,基于操控需求所触发的用户口腔动作的动作属性与无意识口腔动作的动作属性通常有所区别,然后再将动作属性与有效控制动作的动作属性进行比对,在比对通过时,再触发执行根据音频信号的信号特征确定对应的交互控制指令的步骤。
在本实施例的一些实施方式中,在根据音频信号的信号特征确定对应的交互控制指令之前,还包括:获取对应于被控设备的待控制应用信息;根据待控制应用信息调用对应的交互控制指令索引表。相对应的,根据音频信号的信号特征确定对应的交互控制指令包括:通过音频信号的信号特征,查询交互控制指令索引表;在查询成功时,将查询结果确定为对应于信号特征的交互控制指令。
具体的,被控设备上通常安装有多个应用,从而用户的控制需求较为多样化,且需求种类较多,一方面,若在针对信号特征查询对应交互控制指令时,若进行全局查询,则导致查询效率较低,另一方面,若针对每个交互控制指令均个性化配置对应用户口腔动作,例如有一百个控制需求,那么则需要配置一百种用户口腔动作,可能会导致有些动作的复杂度较高,不利于实现,以及导致用户对指令与动作的关联记忆产生混淆,控制准确性较低。基于此,本实施例针对各待控制应用分别配置一交互控制指令索引表,交互控制指令索引表中包括信号特征与交互控制指令的映射关系,从而在实际应用中,仅需调用待控制应用对应的交互控制指令索引表进行指令查询,而不必进行全局查询,有效提高查询效率;另一方面,各待控制应用的索引表相互独立,从而允许相同信号特征在不同索引表中进行复用,例如用户牙齿敲击两次时,所采集到的音频信号的波数为二,在应用A的索引表中,对应为确认指令,而在应用B的索引表中,可对应为返回指令,从而允许用户通过少数类型的口腔动作实现较为多样化的交互控制,也方便用户记忆,降低错误控制的可能性。
应当说明的是,关于本实施例获取待控制应用信息的具体实现,在一种实施方式中,可以是向被控设备发送请求指令,来请求获取待控制应用信息,在另一种实施方式中,该设置有骨传导麦克风的电子装置上还设置有扬声器,则可以基于该扬声器所输出的音频信号流来分析对应的待控制应用信息,例如分析当前所输出的是歌曲还是游戏语音、通话语音等即可对待控制应用信息(播放器应用、游戏应用、通话应用)进行获取。
进一步地,在本实施例的一些实施方式中,在通过音频信号的信号特征,查询交互控制指令索引表之后,还包括:当查询失败时,在交互控制指令索引表中继续查询与信号特征的相似度高于预设相似度阈值的相似信号特征;将交互控制指令索引表中相似信号特征所对应的交互控制指令,确定为对应于信号特征的交互控制指令。
具体的,在本实施例中,考虑到用户在控制需求比较多样化而对应的口腔动作类型相应较多,抑或部分口腔动作的动作较为繁杂,而导致用户在实际应用中所实际执行的口腔动作与以期的交互控制指令相对应的口腔动作并不完全一致,而若严格按照完全一致的标准对应触发相应交互控制指令,则需要用户反复尝试而导致操作便捷性降低,或者用户反复尝试仍无法准确记起相应动作而导致用户交互控制失败。基于此,本实施例提供了一种联想查询方式,当信号特征并不存在于交互控制指令索引表中而导致查询失败时,在交互控制指令索引表中进一步确定与该信号特征具有较高相似度的相似信号特征,然后将该相似信号特征对应的交互控制指令确定为以期的交互控制指令,从而在用户输入的口腔动作并不完全准确时,也能模糊查找到用户期望的交互控制指令,提高用户进行交互控制操作的便捷性和有效性。
基于上述本申请实施例的技术方案,控制骨传导麦克风采集用户口腔动作产生的音频信号;根据音频信号的信号特征确定对应的交互控制指令;基于与被控设备的通信连接,将交互控制指令发送至被控设备。通过本申请方案的实施,将独立于被控设备的骨传导麦克风作为操控被控设备的人机交互接口,可解放用户双手,提高用户的操控便捷性;另外,基于用户口腔动作来输入交互控制指令,操作实现方式不易被外界发现,可提高用户的操控隐私性。
图4中的方法为本申请第二实施例提供的一种细化的交互控制方法,应用于设置有骨传导麦克风的电子装置,该交互控制方法包括:
步骤401、控制骨传导麦克风采集对应于用户牙齿动作的音频信号。
在本实施例中,用户牙齿动作可以为牙齿敲击动作、牙齿摩擦动作等,骨传导麦克风与用户头部相接触,在用户牙齿做出动作时,所产生的声音可以通过颅骨传导到骨传导麦克风上,而被麦克风采集。
步骤402、基于音频信号的信号特征分析用户牙齿动作的动作属性,并将动作属性与预设的有效控制动作属性进行比对。
具体的,本实施例在基于音频信号确定交互控制指令之前,先对产生该音频信号的用户牙齿动作是否为有效控制动作进行确定,动作属性可以包括动作频率、动作力度等。
步骤403、在比对通过时,根据待控制应用信息调用对应的交互控制指令索引表。
步骤404、判断基于信号特征在交互控制指令索引表中是否查询成功;若是,则执行步骤405;若否,则执行步骤406。
具体的,被控设备上通常安装有多个应用,从而用户的控制需求较为多样化,且需求种类较多,本实施例针对各待控制应用分别配置一交互控制指令索引表,交互控制指令索引表中包括信号特征与交互控制指令的映射关系。
步骤405、将查询结果确定为对应于信号特征的交互控制指令。
步骤406、在交互控制指令索引表中查询相似信号特征对应的交互控制指令。
具体的,本实施例提供了一种联想查询方式,当信号特征并不存在于交互控制指令索引表中而导致查询失败时,在交互控制指令索引表中进一步确定与该信号特征具有较高相似度的相似信号特征,然后将该相似信号特征对应的交互控制指令确定为以期的交互控制指令。
步骤407、基于与被控设备的通信连接,将交互控制指令发送至被控设备。
具体的,本实施例设置有骨传导麦克风的电子装置可以采用蓝牙、Zigbee等通信方式与被控设备建立通信连接,以将交互控制指令发送到被控设备上,进而对被控设备上的待控制应用进行控制。
应当理解的是,本实施例中各步骤的序号的大小并不意味着步骤执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成唯一限定。
本申请实施例公开了一种交互控制方法,将独立于被控设备的骨传导麦克风作为操控被控设备的人机交互接口,可解放用户双手,提高用户的操控便捷性;并且,基于用户牙齿动作来输入交互控制指令,操作实现方式不易被外界发现,可提高用户的操控隐私性;另外,根据用户牙齿动作的有效性分析结果决定是否触发交互控制,可提升控制准确性和有效性;而且,当信号特征在交互控制指令索引表中无查询结果时,根据相似信号特征进行交互控制指令确定,进一步提升了控制便捷性和有效性。
图5为本申请第三实施例提供的一种交互控制装置,该交互控制装置应用于设置有骨传导麦克风的电子装置。如图5所示,该交互控制装置主要包括:
采集模块501,用于控制骨传导麦克风采集用户口腔动作产生的音频信号;
确定模块502,用于根据音频信号的信号特征确定对应的交互控制指令;其中,信号特征包括:波幅、波数、波频中至少一种;
发送模块503,用于基于与被控设备的通信连接,将交互控制指令发送至被控设备。
在本实施例的一些实施方式中,采集模块501具体用于:控制骨传导麦克风进行音频信号采集,得到整体音频信号;对整体音频信号进行分流处理,得到多个音频信号流;将多个音频信号流中与预设的信号特征相匹配的音频信号,确定为用户口腔动作产生的音频信号。
如图6所示为本实施例提供的另一种交互控制装置,在本实施例的一些实施方式中,该交互控制装置还包括:比对模块504,用于在根据音频信号的信号特征确定对应的交互控制指令之前,基于信号特征分析用户口腔动作的动作属性;将动作属性与预设的有效控制动作属性进行比对。相对应的,确定模块502具体用于:当用户口腔动作的动作属性符合有效控制动作属性时,根据音频信号的信号特征确定对应的交互控制指令。
请再次参阅图6,在本实施例的一些实施方式中,该交互控制装置还包括:调用模块505,用于在根据音频信号的信号特征确定对应的交互控制指令之前,获取对应于被控设备的待控制应用信息;根据待控制应用信息调用对应的交互控制指令索引表。相对应的,确定模块502具体用于:通过音频信号的信号特征,查询交互控制指令索引表;在查询成功时,将查询结果确定为对应于信号特征的交互控制指令。
进一步地,在本实施例一些实施方式中,确定模块502还用于:在查询失败时,在交互控制指令索引表中继续查询与信号特征的相似度高于预设相似度阈值的相似信号特征;将交互控制指令索引表中相似信号特征所对应的交互控制指令,确定为对应于信号特征的交互控制指令。
在本实施例一些实施方式中,确定模块502具体用于:在确定处于关联控制场景时,获取与上一次进行交互控制时所触发的交互控制指令相对应的交互控制指令索引表;通过音频信号的信号特征,在交互控制指令索引表中查询对应于音频信号的信号特征的交互控制指令。
请再次参阅图6,在本实施例的一些实施方式中,该交互控制装置还包括:提示模块506,用于在控制骨传导麦克风采集用户口腔动作产生的音频信号之前,在接收到指令查询请求时,获取对应于指令查询请求的用户口腔动作;控制电子装置的骨传导扬声器对用户口腔动作输出提示。
在本实施例的另一些实施方式中,比对模块504还用于:在控制骨传导麦克风采集用户口腔动作产生的音频信号之前,控制骨传导麦克风采集用户语音信号;将用户语音信号对应的声纹特征与预设的合法声纹特征进行比对。相对应的,采集模块501具体用于:在比对通过时,控制骨传导麦克风采集用户口腔动作产生的音频信号。
应当说明的是,第一、二实施例中的交互控制方法均可基于本实施例提供的交互控制装置实现,所属领域的普通技术人员可以清楚的了解到,为描述的方便和简洁,本实施例中所描述的交互控制装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
根据本实施例所提供的交互控制装置,控制骨传导麦克风采集用户口腔动作产生的音频信号;根据音频信号的信号特征确定对应的交互控制指令;基于与被控设备的通信连接,将交互控制指令发送至被控设备。通过本申请方案的实施,将独立于被控设备的骨传导麦克风作为操控被控设备的人机交互接口,可解放用户双手,提高用户的操控便捷性;另外,基于用户口腔动作来输入交互控制指令,操作实现方式不易被外界发现,可提高用户的操控隐私性。
请参阅图7,图7为本申请第四实施例提供的一种电子装置。该电子装置可用于实现前述实施例中的交互控制方法。如图7所示,该电子装置主要包括:
存储器701、处理器702、总线703及存储在存储器701上并可在处理器702上运行的计算机程序,存储器701和处理器702通过总线703连接。处理器702执行该计算机程序时,实现前述实施例中的交互控制方法。其中,处理器的数量可以是一个或多个。
存储器701可以是高速随机存取记忆体(RAM,Random Access Memory)存储器,也可为非不稳定的存储器(non-volatile memory),例如磁盘存储器。存储器701用于存储可执行程序代码,处理器702与存储器701耦合。
进一步的,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以是设置于上述各实施例中的电子装置中,该计算机可读存储介质可以是前述图7所示实施例中的存储器。
该计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现前述实施例中的交互控制方法。进一步的,该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的可读存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上为对本申请所提供的交互控制方法、装置及计算机可读存储介质的描述,对于本领域的技术人员,依据本申请实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。
Claims (12)
1.一种交互控制方法,应用于设置有骨传导麦克风的电子装置,其特征在于,包括:
控制所述骨传导麦克风采集用户口腔动作产生的音频信号;
根据所述音频信号的信号特征确定对应的交互控制指令;
基于与被控设备的通信连接,将所述交互控制指令发送至所述被控设备。
2.根据权利要求1所述的交互控制方法,其特征在于,所述控制所述骨传导麦克风采集用户口腔动作产生的音频信号包括:
控制所述骨传导麦克风进行音频信号采集,得到整体音频信号;
对所述整体音频信号进行分流处理,得到多个音频信号流;
将所述多个音频信号流中与预设的信号特征相匹配的音频信号,确定为用户口腔动作产生的音频信号。
3.根据权利要求1所述的交互控制方法,其特征在于,所述根据所述音频信号的信号特征确定对应的交互控制指令之前,还包括:
基于所述信号特征分析所述用户口腔动作的动作属性;
当所述用户口腔动作的动作属性符合预设的动作属性时,执行所述根据所述音频信号的信号特征确定对应的交互控制指令的步骤。
4.根据权利要求1所述的交互控制方法,其特征在于,所述根据所述音频信号的信号特征确定对应的交互控制指令之前,还包括:
获取对应于所述被控设备的待控制应用信息;
根据所述待控制应用信息调用对应的交互控制指令索引表;
所述根据所述音频信号的信号特征确定对应的交互控制指令包括:
通过所述音频信号的信号特征,查询所述交互控制指令索引表;
在查询成功时,将查询结果确定为对应于所述信号特征的交互控制指令。
5.根据权利要求4所述的交互控制方法,其特征在于,所述通过所述音频信号的信号特征,查询所述交互控制指令索引表之后,还包括:
当查询失败时,继续查询与所述信号特征的相似度高于预设相似度阈值的相似信号特征;
将所述交互控制指令索引表中所述相似信号特征所对应的交互控制指令,确定为对应于所述信号特征的交互控制指令。
6.根据权利要求1所述的交互控制方法,其特征在于,所述根据所述音频信号的信号特征确定对应的交互控制指令包括:
在确定处于关联控制场景时,获取与上一次进行交互控制时所触发的交互控制指令相对应的交互控制指令索引表;
通过所述音频信号的信号特征,在所述交互控制指令索引表中查询对应于所述音频信号的信号特征的交互控制指令。
7.根据权利要求1所述的交互控制方法,其特征在于,所述信号特征包括:波幅、波数、波频中至少一种。
8.根据权利要求1至7中任意一项所述的交互控制方法,其特征在于,所述控制所述骨传导麦克风采集用户口腔动作产生的音频信号之前,还包括:
在接收到指令查询请求时,获取对应于所述指令查询请求的所述用户口腔动作;
控制所述电子装置的骨传导扬声器对所述用户口腔动作输出提示。
9.根据权利要求1至7中任意一项所述的交互控制方法,其特征在于,所述控制所述骨传导麦克风采集用户口腔动作产生的音频信号之前,还包括:
控制所述骨传导麦克风采集用户语音信号;
将所述用户语音信号对应的声纹特征与预设的合法声纹特征进行比对;
在比对通过时,执行所述控制所述骨传导麦克风采集用户口腔动作产生的音频信号的步骤。
10.一种交互控制装置,应用于设置有骨传导麦克风的电子装置,其特征在于,包括:
采集模块,用于控制所述骨传导麦克风采集用户口腔动作产生的音频信号;
确定模块,用于根据所述音频信号的信号特征确定对应的交互控制指令;
发送模块,用于基于与被控设备的通信连接,将所述交互控制指令发送至所述被控设备。
11.一种电子装置,其特征在于,包括:存储器、处理器及总线;
所述总线用于实现所述存储器、处理器之间的连接通信;
所述处理器用于执行存储在所述存储器上的计算机程序;
所述处理器执行所述计算机程序时,实现权利要求1至9中任意一项所述方法中的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1至9中的任意一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010620158.4A CN111785267A (zh) | 2020-07-01 | 2020-07-01 | 一种交互控制方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010620158.4A CN111785267A (zh) | 2020-07-01 | 2020-07-01 | 一种交互控制方法、装置及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111785267A true CN111785267A (zh) | 2020-10-16 |
Family
ID=72760852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010620158.4A Withdrawn CN111785267A (zh) | 2020-07-01 | 2020-07-01 | 一种交互控制方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111785267A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112804613A (zh) * | 2021-04-12 | 2021-05-14 | 北京嘉诚至盛科技有限公司 | 骨传导通信装置 |
CN113825118A (zh) * | 2021-09-24 | 2021-12-21 | 中车大连电力牵引研发中心有限公司 | 一种基于人体骨声纹的列车操纵系统 |
WO2023082619A1 (zh) * | 2021-11-11 | 2023-05-19 | 青岛海尔空调器有限总公司 | 空调的控制方法、控制系统、电子设备和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0954819A (ja) * | 1995-08-11 | 1997-02-25 | D K Electro Giken Kk | 噛み数計数装置 |
US20020077831A1 (en) * | 2000-11-28 | 2002-06-20 | Numa Takayuki | Data input/output method and system without being notified |
JP2011075989A (ja) * | 2009-10-01 | 2011-04-14 | Yamaguchi Univ | 操作指令信号生成方法及び操作指令信号生成装置 |
CN104317388A (zh) * | 2014-09-15 | 2015-01-28 | 联想(北京)有限公司 | 一种交互方法及穿戴式电子设备 |
CN105988768A (zh) * | 2015-02-06 | 2016-10-05 | 电信科学技术研究院 | 智能设备控制方法、信号获取方法及相关设备 |
CN106714023A (zh) * | 2016-12-27 | 2017-05-24 | 广东小天才科技有限公司 | 一种基于骨传导耳机的语音唤醒方法、系统及骨传导耳机 |
CN106774914A (zh) * | 2016-12-26 | 2017-05-31 | 苏州欧菲光科技有限公司 | 穿戴式设备的控制方法和穿戴式设备 |
CN110727349A (zh) * | 2019-09-29 | 2020-01-24 | 上海猫虎网络科技有限公司 | 一种人机交互方法及基于骨传导交互的ar眼镜 |
-
2020
- 2020-07-01 CN CN202010620158.4A patent/CN111785267A/zh not_active Withdrawn
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0954819A (ja) * | 1995-08-11 | 1997-02-25 | D K Electro Giken Kk | 噛み数計数装置 |
US20020077831A1 (en) * | 2000-11-28 | 2002-06-20 | Numa Takayuki | Data input/output method and system without being notified |
JP2011075989A (ja) * | 2009-10-01 | 2011-04-14 | Yamaguchi Univ | 操作指令信号生成方法及び操作指令信号生成装置 |
CN104317388A (zh) * | 2014-09-15 | 2015-01-28 | 联想(北京)有限公司 | 一种交互方法及穿戴式电子设备 |
CN105988768A (zh) * | 2015-02-06 | 2016-10-05 | 电信科学技术研究院 | 智能设备控制方法、信号获取方法及相关设备 |
CN106774914A (zh) * | 2016-12-26 | 2017-05-31 | 苏州欧菲光科技有限公司 | 穿戴式设备的控制方法和穿戴式设备 |
CN106714023A (zh) * | 2016-12-27 | 2017-05-24 | 广东小天才科技有限公司 | 一种基于骨传导耳机的语音唤醒方法、系统及骨传导耳机 |
CN110727349A (zh) * | 2019-09-29 | 2020-01-24 | 上海猫虎网络科技有限公司 | 一种人机交互方法及基于骨传导交互的ar眼镜 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112804613A (zh) * | 2021-04-12 | 2021-05-14 | 北京嘉诚至盛科技有限公司 | 骨传导通信装置 |
CN113825118A (zh) * | 2021-09-24 | 2021-12-21 | 中车大连电力牵引研发中心有限公司 | 一种基于人体骨声纹的列车操纵系统 |
CN113825118B (zh) * | 2021-09-24 | 2024-02-27 | 中车大连电力牵引研发中心有限公司 | 一种基于人体骨声纹的列车操纵系统 |
WO2023082619A1 (zh) * | 2021-11-11 | 2023-05-19 | 青岛海尔空调器有限总公司 | 空调的控制方法、控制系统、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6811758B2 (ja) | 音声対話方法、装置、デバイス及び記憶媒体 | |
CN111785267A (zh) | 一种交互控制方法、装置及计算机可读存储介质 | |
CN107454508B (zh) | 麦克风阵列的电视机及电视系统 | |
US11251763B2 (en) | Audio signal adjustment method, storage medium, and terminal | |
CN105988768B (zh) | 智能设备控制方法、信号获取方法及相关设备 | |
CN108710615B (zh) | 翻译方法及相关设备 | |
WO2021184549A1 (zh) | 单耳耳机、智能电子设备、方法和计算机可读介质 | |
CN108681440A (zh) | 一种智能设备音量控制方法及系统 | |
US20140079239A1 (en) | System and apparatus for controlling a user interface with a bone conduction transducer | |
CN106685459B (zh) | 一种可穿戴设备操作的控制方法及可穿戴设备 | |
CN110620970A (zh) | 一种耳机触控方法、装置、无线耳机及tws耳机 | |
CN108595003A (zh) | 功能控制方法及相关设备 | |
CN113671846B (zh) | 智能设备控制方法、装置、可穿戴设备及存储介质 | |
CN111158487A (zh) | 使用无线耳机与智能终端进行交互的人机交互方法 | |
CN110992955A (zh) | 一种智能设备的语音操作方法、装置、设备及存储介质 | |
CN109067965A (zh) | 翻译方法、翻译装置、可穿戴装置及存储介质 | |
CN108345442A (zh) | 一种操作识别方法及移动终端 | |
CN108959273A (zh) | 翻译方法、电子装置及存储介质 | |
CN111768757A (zh) | 可穿戴设备的控制方法、可穿戴设备及存储介质 | |
EP3282680B1 (en) | Blowing action-based method for operating mobile terminal and mobile terminal | |
KR101567154B1 (ko) | 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치 | |
CN104796550A (zh) | 智能硬件肢体控制接听来电 | |
CN111966321A (zh) | 音量调节方法、ar设备及存储介质 | |
CN111831116A (zh) | 一种基于ppg信息的智能设备交互方法 | |
CN109658930A (zh) | 语音信号处理方法、电子装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201016 |
|
WW01 | Invention patent application withdrawn after publication |