CN110310648A - 移动终端的控制方法、装置、移动终端及可读存储介质 - Google Patents

移动终端的控制方法、装置、移动终端及可读存储介质 Download PDF

Info

Publication number
CN110310648A
CN110310648A CN201910433466.3A CN201910433466A CN110310648A CN 110310648 A CN110310648 A CN 110310648A CN 201910433466 A CN201910433466 A CN 201910433466A CN 110310648 A CN110310648 A CN 110310648A
Authority
CN
China
Prior art keywords
party
application
mobile terminal
target application
voice messaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910433466.3A
Other languages
English (en)
Inventor
付铮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201910433466.3A priority Critical patent/CN110310648A/zh
Publication of CN110310648A publication Critical patent/CN110310648A/zh
Priority to PCT/CN2019/122033 priority patent/WO2020233074A1/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H04M2201/405Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition involving speaker-dependent recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/74Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及人工智能技术领域,提供一种移动终端的控制方法、装置、移动终端及可读存储介质。移动终端在处于语音控制模式时,若接收到语音信息,则对所述语音信息进行声纹分析,判断所述语音信息是否来源于预设目标用户;若判断所述语音信息来源于所述预设目标用户,则根据所述语音信息确定对应的第三方目标应用和目标功能;根据所述第三方目标应用的应用类型确定对应的第三方目标调用规则,并基于所述第三方目标调用规则调用所述第三方目标应用,并启动所述第三方目标应用的目标功能。本发明可基于人工智能的方式实现移动终端的语音控制功能,并解决现有语音控制第三方应用效率低的技术问题,为用户提供了方便。

Description

移动终端的控制方法、装置、移动终端及可读存储介质
技术领域
本发明涉及人工智能技术领域,尤其涉及一种移动终端的控制方法、装置、移动终端及可读存储介质。
背景技术
随着终端技术的不断发展,语音控制功能已成为移动终端的一项重要功能;用户在不方便通过手动操作的方式控制移动终端时,可以通过语音的方式向移动终端发出相关的语音指令,以使得移动终端进行相应的任务处理,从而为用户提供了方便。
但是,现有语音控制功能具有一定的缺陷,目前的语音控制功能一般是终端的原生系统所自带的功能,因此在进行语音控制时,移动终端一般是通过系统自带的功能组件提供相应的服务,例如当用户通过语音的方式要求终端播放音乐时,终端是通过系统自带的播放器功能播放音乐,也即该语音控制功能并不能很好地融合第三方应用(app);若用户希望通过语音方式控制第三方应用,则需要用户先通过手动操作的方式启动该第三方应用后,再启动该第三方应用本身所提供的语音功能,才能实现语音控制功能,这就为用户带来了不便。
发明内容
本发明的主要目的在于提供一种移动终端的控制方法、装置、移动终端及可读存储介质,旨在解决现有语音控制第三方应用效率低的技术问题。
为实现上述目的,本发明提供一种移动终端的控制方法,所述移动终端的控制方法应用于移动终端,所述移动终端的控制方法包括:
在处于语音控制模式时,若接收到语音信息,则对所述语音信息进行声纹分析,判断所述语音信息是否来源于预设目标用户;
若判断所述语音信息来源于所述预设目标用户,则根据所述语音信息确定对应的第三方目标应用和目标功能;
根据所述第三方目标应用的应用类型确定对应的第三方目标调用规则,并基于所述第三方目标调用规则调用所述第三方目标应用,启动所述第三方目标应用的目标功能。
此外,为实现上述目的,本发明还提供一种移动终端的控制装置,所述移动终端的控制装置包括:
语音分析模块,用于在处于语音控制模式时,若接收到语音信息,则对所述语音信息进行声纹分析,判断所述语音信息是否来源于预设目标用户;
信息确定模块,用于若判断所述语音信息来源于所述预设目标用户,则根据所述语音信息确定对应的第三方目标应用和目标功能;
应用调用模块,用于根据所述第三方目标应用的应用类型确定对应的第三方目标调用规则,并基于所述第三方目标调用规则调用所述第三方目标应用,启动所述第三方目标应用的目标功能。
此外,为实现上述目的,本发明还提供一种移动终端,其特征在于,所述移动终端包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的控制程序,其中所述控制程序被所述处理器执行时,实现上述的移动终端的控制方法的步骤。
此外,为实现上述目的,本发明还提供一种可读存储介质,所述存储介质上存储有控制程序,其中所述控制程序被处理器执行时,实现如上述的移动终端的控制方法的步骤。
本发明可在用户不方便手动操作移动终端时提供语音智能服务,使得用户可通过语音的方式控制移动终端,为用户提供了方便;同时,在语音控制过程中,移动终端还可以对第三方应用进行调用,通过第三方应用为用户提供相应的功能服务,扩展了语音控制的功能覆盖面,实现对非终端系统自带应用和非本语音控制应用的第三方应用的集中式语音控制,避免了用户先通过手动操作的方式启动单一第三方应用后,再启动该第三方应用本身所提供的语音功能,从而简化了对于第三方应用的单一语音控制的操作流程,提高了语音控制第三方应用效率,进一步提高了用户体验。
附图说明
图1为本发明实施例方案中涉及的移动终端的硬件结构示意图;
图2为本发明移动终端的控制方法第一实施例的流程示意图;
图3为本发明移动终端的控制方法第二实施例的流程示意图;
图4为本发明移动终端的控制装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例涉及的移动终端的控制方法主要应用于移动终端,该移动终端可以是手机、平板电脑、掌上电脑、可穿戴设备等具有数据处理功能的设备。
参照图1,图1为本发明实施例方案中涉及的移动终端的硬件结构示意图。本发明实施例中,该移动终端可以包括处理器1001(例如中央处理器Central Processing Unit,CPU),通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信;用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard);网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity,WI-FI接口);存储器1005可以是高速随机存取存储器(random accessmemory,RAM),也可以是稳定的存储器(non-volatile memory),例如磁盘存储器,存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解,图1中示出的硬件结构并不构成对本发明的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
继续参照图1,图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及控制程序。在图1中,网络通信模块主要用于连接数据库,与数据库进行数据通信;而处理器1001可以调用存储器1005中存储的控制程序,并执行本发明实施例提供的移动终端的控制方法。
本发明实施例提供了一种移动终端的控制方法。
参照图2,图2为本发明移动终端的控制方法第一实施例的流程示意图。
本实施例中,所述移动终端的控制方法应用于移动终端,所述移动终端的控制方法包括以下步骤:
步骤S10,在处于语音控制模式时,若接收到语音信息,则对所述语音信息进行声纹分析,判断所述语音信息是否来源于预设目标用户;
随着技术的发展,现在的移动终端一般都支持语音控制功能。但目前的语音控制功能具有一定的缺陷,该语音控制功能一般是终端的原生系统所自带的功能,因此在进行语音控制时,移动终端一般是通过系统自带的功能组件提供相应的服务,例如当用户通过语音的方式要求终端播放音乐时,终端是通过系统自带的播放器功能播放音乐,也即该语音控制功能并不能很好地融合第三方应用(app);若用户希望通过语音方式控制第三方应用,则需要用户先通过手动操作的方式启动该第三方应用后,再启动该第三方应用本身所提供的语音功能,才能实现语音控制功能,这就为用户带来了不便。对此,本实施例中提出一种移动终端的控制方法,方便用户在不方便手动操作手机时开启语音智能服务,使得用户可通过语音的方式控制手机,为用户提供了方便;而在语音控制过程中,移动终端还可以对第三方应用进行调用,通过第三方应用为用户提供相应的功能服务,扩展了语音控制的功能覆盖面,进一步提高了用户体验。
本实施例的移动终端的控制方法应用于移动终端,该移动终端可以是手机、平板电脑、掌上电脑、可穿戴设备等;为描述方便,本实施例中以手机为例进行说明。对于本实施例中的移动终端的控制方法,可以是借助一语音控制应用实现,也即用户的手机中可预先安装该语音控制应用,通过该语音控制应用实现对非终端系统自带应用和非本语音控制应用的第三方应用的集中式语音控制,避免了用户先通过手动操作的方式启动单一第三方应用后,再启动该第三方应用本身所提供的语音功能,从而简化了对于第三方应用的单一语音控制的操作流程,提高了语音控制第三方应用效率。当然在实际中,也可以是在手机系统本身集成该语音控制功能。此外,用户的手机还设置有麦克风(或是其它的声音信号采集装置),用以采集接收用户发出的语音信息;当然手机也可以是以有线或无线的方式与一外接麦克风(如耳麦等设备)连接,用户通过该外接麦克风进行语音控制。进一步的,对于本实施例中的语音控制应用,其应用界面中包括一模式设置项,以供用户选择开启或关闭语音控制模式;当用户通过语音控制应用的该模式设置项选择开启语音控制模式时,手机即进入语音控制模式,并通过手机上的麦克风监听是否接收到语音信息。当手机将接收到语音信息时,将对该语音信息进行声纹分析(通过语音控制应用进行),判断该语音信息是否来源于预设目标用户,也即判断该语音是否为某一预设目标用户发出;对于该预设目标用户,可以是机主,又或者是其它有权限对手机进行语音控制的用户。如果该语音信息确来源于该预设目标用户,则手机可进行下一步语音语义分析等操作,即进入步骤S20;而如果该语音信息并不是来源于预设目标用户,则可认为该语音信息是由无语音控制权限的用户发出、又或者是环境噪音,此时手机不会对该语音信息进行反馈;通过上述方式,避免了旁人或环境语音引起的无意识误操作、还有利于提高手机语音控制的准确性和安全性。
进一步,对于上述对语音信息进行声纹识别的过程,可以是根据预先训练好的声纹识别模型、又或是其它第三方提供的声纹识别SDK(软件开发工具包,SoftwareDevelopment Kit)实现,也即手机本地的语音控制应用中集成有该声纹识别模型或声纹识别SDK,从而提高声纹识别的效率。具体的,预设目标用户可预先通过手机麦克风往手机的语音控制应用中录入自己的样本语音,以使手机预先存储有预设目标用户的样本语音;对于该样本语音,手机可通过该预先通过机器学习或其它方式得到声纹识别模型提取出其中的样本特征;而手机在接收到语音信息时,也将通过该声纹识别模型提取出其中的语音特征,然后将两者进行比对,当两者的相似度达到一定阈值时,即认为该语音信息与样本语音来源于同一用户,也即该语音信息来源于预设目标用户。而如果是通过第三方提供的声纹识别SDK实现声纹识别,其识别过程与上述通过声纹识别模型识别过程类似,此处不再赘述。值得说明的是,对于该预设目标用户可以是一位;也可以是两位以上(此处“以上”包括本数,下同),也即可以是有多位不同的用户对手机具有语音控制的权限。
再进一步的,对于上述对语音信息进行声纹识别的过程,也可以是通过云端的服务器实现,从而降低声纹识别的手机资源消耗,还有利于减小语音控制应用对手机存储空间的占用量。具体的,预设目标用户可预先通过手机麦克风往手机录入自己的样本语音,对于该样本语音,手机会将其发送至语音控制应用对应的云服务器,由该云服务器进行存储;而手机在接收到语音信息时,会将该语音信息发送至云服务器,由于云服务器对两者进行比对,并将比对结果返回到手机,手机即可根据该比对结果判断该语音信息是否来源于预设目标用户。
步骤S20,若判断所述语音信息来源于所述预设目标用户,则根据所述语音信息确定对应的第三方目标应用和目标功能;
本实施例中,当手机判断语音信息来源于预设目标用户时,手机将对该语音信息进行语义识别,确定该语音信息对应的第三方目标应用和目标功能,也即确定预设目标用户希望启动的第三方目标应用和目标功能。其中,对语音信息进行语义识别的功能,也可以是通过相关机器学习得到的语义识别模型、或者是借助第三方提供的语义识别SDK实现的。例如,预设目标用户发出的语音信息为“打开D应用,导航至X地点”(D应用为一第三方提供的导航应用或地图应用);手机在接收到该语音信息时,可先识别出其中的操作关键字“打开”,并将该操作关键字对应的操作对象“D应用”确定为第三方目标应用,而对于“导航”则为功能关键字,根据该功能关键可确定对应的目标功能(“X地点”为具体的功能内容或功能对象)。
值得说明的是,在根据语音信息确定对应第三方目标应用和目标功能的过程中,可以是直接从语音信息中确定出第三方目标应用和目标功能;还可以是先从语音信息中确定出目标功能,再根据该目标功能确定出能实现该目标功能的第三方目标应用。例如,当移动终端接收到的语音信息为“导航至X地点”、“播放G歌曲”时,即是先确定目标功能,在根据该目标功能确定第三方目标应用。具体的,所述根据所述语音信息确定对应的第三方目标应用和目标功能的步骤包括:
对所述语音信息进行解析,并从所述语音信息中提取得到对应的功能关键词;
手机在接收到语音信息时,首先将对该语音信息进行解析,并从该语音信息中提取得到对应的功能关键词。对于该功能关键词的提取过程,可以是如上述通过语义识别模型、或者是借助第三方提供的语义识别SDK实现的;还可以是先在手机里预存若干功能关键词的功能词语音,当得到语音信息,将该语音信息与功能词语音进行比对,判断该语音信息中是否存在与功能词语音匹配(相似度达到一定阈值)的片段;若存在,则该片段为功能关键词对应的语音片段,并进一步确定对应的功能关键词。例如“导航至X地点”中,功能关键词为“导航”;又例如“播放G歌曲”中,功能关键词为“播放”等。当然,在实际中,功能关键词的形式除了上述“纯动词”的形式外,还可能是“动词+对象”的形式或是其它的形式,例如将“播放G歌曲”整段作为功能关键词等。
根据所述功能关键词确定对应的目标功能,并根据所述目标功能确定对应的第三方目标应用。
手机在得到功能关键词时,即可根据该目标关键词确定该语音信息所希望启动/执行的服务,也即确定目标功能;此时手机将会根据该目标功能从已安装的第三方应用中确定支持该目标功能的第三方目标应用。例如,对于功能关键词“导航”,根据该功能关键词可知目标功能为导航功能;根据该目标功能可进一步确定出第三方目标应用为手机中已安装的第三方D导航应用。
进一步的,手机根据目标功能确定第三方目标应用的过程,可以是先查询获取当前手机中已经安装的第三方应用信息,然后根据这些第三方应用信息判断已安装的第三方应用中是否存在能够支持该目标功能的第三方可选应用。例如对于手机中已安装的第三方应用包括第三方D导航应用、第三方T地图应用、第三方Y音乐应用;在这些已安装的第三方应用中,第三方D导航应用和第三方T地图应用均可以支持(可实现)该目标功能(导航),也即已安装的第三方应用中存在能够支持该目标功能第三方可选应用;此时手机即可在该第三方可选应用中确定出第三方目标应用。而如果已安装的第三方应用中不存在能够支持该目标功能的第三方可选应用,则手机需要通过网络(包括移动数据网络、WIFI网络等)进行网络查询,并通过网络下载安装能够支持该目标功能的第三方网络应用,然后将该第三方网络应用确定为第三方目标应用,从而保证能够为用户提供其所需要的功能服务。
再进一步的,在已安装的第三方应用中存在能支持该目标功能第三方可选应用的情况下,手机将从这些第三方可选应用中确定第三方目标应用;此时手机将会确定该第三方可选应用的应用数量;如果第三方可选应用仅为一个,那可直接将该唯一的第三方可选应用确定为第三方目标应用;而如果第三方可选应用的应用数量在两个以上,则手机将会根据一定的规则从中确定出一个第三方目标应用。例如,手机的第三方可选应用包括第三方D导航应用和第三方T地图应用,则手机可获取这些第三方可选应用各自的使用频率(如最近七天的使用次数),并将使用频率最高的第三方可选应用确定为第三方目标应用,从而使得后续启动的第三方目标应用能够贴合用户的使用习惯;当然,还可以是获取这些第三方可选应用各自的最近更新时间(或安装时间),并将最近更新时间最新的第三方可选应用确定为第三方目标应用,从而使得后续启动的第三方目标应用能够为用户提供最新的功能服务。
步骤S30,根据所述第三方目标应用的应用类型确定对应的第三方目标调用规则,并基于所述第三方目标调用规则调用所述第三方目标应用,启动所述第三方目标应用的目标功能。
本实施例中,当手机确定第三方目标应用和目标功能时,手机将会通过一定的第三方应用调用规则调用该第三方目标应用,并启动该第三方目标应用的目标功能,然后根据该目标功能的执行结果进行相应的输出,例如显示导航路线、播放音乐等。而对于该第三方目标应用及该目标功能的启动,可以是通过该第三方目标应用本身提供的第三方调用接口API(Application Programming Interface、应用程序编程接口)进行调用,也可以是以自动化模拟人工操作的方式实现,当然还可以是通过其它的方式。手机在确定第三方目标应用和目标功能时,首先可根据该第三方目标应用确定对应的第三方目标调用规则,然后再基于该第三方目标调用规则调用该第三方目标应用。例如,手机可以先判断该第三方目标应用是否有对外提供第三方调用接口;若有,则优先以第三方调用接口调用的方式进行调用;否则,则可通过自动化模拟人工操作的方式实现调用。又例如,手机可以先预先设置不同第三方应用的优先调用方式,在进行第三方调用时优先根据设置的方式进行调用。
具体的,对于该第三方调用接口调用的方式,要求第三方应用中提供有第三方调用接口和该调用接口规范;该调用接口规范中包括有相关的标识符模板,用以构造出满足该第三方调用接口入参规范的统一资源标识符URI(Uniform Resource Identifier,一个用于标识某一互联网资源名称的字符串,允许用户对任何(包括本地和互联网)的资源通过特定的协议进行交互操作),还包括有该标识符模板的相关填充规则,即如何填充该标识符模板,各字符串的相关含义等。当通过第三方调用接口进行调用时,手机首先会获取该第三方目标应用的调用接口规范,并根据该调用接口规范获取到对应的标识符模板;然后手机会根据目标功能的具体内容以及该调用接口规范对标识符模板进行内容填充,构造得到对应的目标标识符,例如根据“导航至X地点”和调用接口规范中的字符串规定生成对应的功能字符,再将该功能字符填充至标识符模板中,从而得到目标标识符;然后手机可将该目标标识符输入至第三方目标应用的第三方调用接口,以调用所述第三方目标应用和执行第三方目标应用的目标功能,并根据该目标功能的执行结果进行相应的输出。通过该第三方调用接口进行调用,可减少语音控制应用(或是手机的语音控制功能)本身的相关功能要求,该语音控制应用(或手机)无需关注目标功能如何实现,只需要根据接口调用规范进行构建相应的统一资源标识符并将其输入至第三方调用接口,即可得到相应的调用结果并为用户提供功能服务,无需进行重新开发,降低了语音控制的实现成本。
而当通过自动化模拟人工操作(自动化模拟用例)的方式实现第三方目标应用和目标功能的启动时,可以是手机先启动该第三方目标应用,然后将该第三方目标应用的目标应用界面显示在显示屏上。在显示该目标应用界面后,手机将会对所述目标应用界面进行识别,并在所述目标应用界面中确定目标功能对应的功能触发区域。对于该功能触发区域的识别过程,可以是预先根据目标应用界面的排版模式预先设置对应的识别脚本(即识别规范),从而在显示目标应用界面时,根据该识别脚本识别出相关的页面要素,从而确定功能触发区域。当然在识别的过程中,还可以是结合光学字符识别(Optical CharacterRecognition,OCR)技术(或其它技术)进行,即在显示目标应用界面时进行截图,并通过OCR技术识别出相关的关键字,从而根据关键字确定对应的功能触发区域。在确定功能触发区域的同时,还将要确定该功能触发区域的功能触发类型,例如通过输入相关命令字符并点击相应按键的方式触发相应功能指令,还是通过直接点击某个按键触发相应功能指令等。在确定功能触发类型时,手机将会根据该功能触发类型调用对应的操作控件(如输入控件、点击控件等),并通过该操作控件在该功能触发区域进行相关的模拟操作,以启动该第三方目标应用的目标功能,例如通过输入控件在功能触发区域的输入栏模拟输入某个字符、通过点击空间模拟点击功能触发区域的某个功能按键等;然后可根据执行结果进行相应地输出。通过上述自动化模拟人工操作的方式实现第三方应用调用,可在一定程度上实现对不同第三方应用的兼容性,在不依赖接口进行数据导入导出的情况下也可实现第三方应用于第三方应用、或是系统与第三方应用之间的无缝衔接,有利于提高移动终端进行第三方调用的稳定性,提高了用户体验。
值得说明的是,对于上述的第三方调用接口调用或是自动化模拟人工操作进行调用的方式,由于市面上的第三方应用种类较多,因此手机中安装的语音控制应用不一定要将所有第三方应用的相关资料(如第三方应用的调用接口规范、自动化模拟操作脚本、模拟用例等)均存储在本地;也即手机在通过该语音控制应用提供语音控制服务时,当确定第三方目标应用和目标功能了,可以是将该第三方目标应用和目标功能发送至语音应用服务器,由该语音应用服务器根据该第三目标应用和目标功能构建生成相关的目标标识符或自动化模拟操作脚本、模拟用例,再将该目标标识符或自动化模拟操作脚本、模拟用例返回至手机,以供手机将该目标标识符输入至第三方目标应用的第三方调用接口,或通过自动化模拟操作脚本、模拟用例模拟人工操作,从而实现第三方目标应用和目标功能的启动。
本实施例中的移动终端,在处于语音控制模式时,若接收到语音信息,则对所述语音信息进行声纹分析,判断所述语音信息是否来源于预设目标用户;若判断所述语音信息来源于所述预设目标用户,则根据所述语音信息确定对应的第三方目标应用和目标功能;根据所述第三方目标应用的应用类型确定对应的第三方目标调用规则,并基于所述第三方目标调用规则调用所述第三方目标应用,启动所述第三方目标应用的目标功能。通过以上方式,本实施例可在用户不方便手动操作移动终端时提供语音智能服务,使得用户可通过语音的方式控制移动终端,为用户提供了方便;同时,在语音控制过程中,移动终端还可以对第三方应用进行调用,通过第三方应用为用户提供相应的功能服务,扩展了语音控制的功能覆盖面,实现对非终端系统自带应用和非本语音控制应用的第三方应用的集中式语音控制,避免了用户先通过手动操作的方式启动单一第三方应用后,再启动该第三方应用本身所提供的语音功能,从而简化了对于第三方应用的单一语音控制的操作流程,提高了语音控制第三方应用效率,进一步提高了用户体验;此外,在进行第三方应用调用时,可通过接口调用或模拟人工操作的方式实现,在一定程度上提高不同应用之间的兼容性,减小对系统或第三方应用的改动,有利于提高移动终端运行的稳定性。
参照图3,图3为本发明移动终端的控制方法第二实施例的流程示意图。
基于上述图2所示实施例,本实施例中,所述步骤S10之前,还包括:
步骤S40,检测所述移动终端的实时位移速度,并判断所述实时位移速度是否大于预设速度阈值;
本实施例中,对于手机语音控制模式的进入(启动),还可以是通过手机一系列的传感器(或装置)对周边的环境检测,当根据检测数据判断当前环境为用户不方便手动操作手机时,即自动启动该语音控制应用并进入语音控制模式,无需用户手动进行设置,从而为用户提供方便。例如,本实施例中可以是检测用户是否在驾驶状态,若是,则自动进入语音控制模式。具体的,手机可通过GPS或是其它设备对检测自身的实时位移速度,并判断该实时位移速度是否大于一预设速度阈值;该预设速度阈值可以根据实际情况进行设置,例如设置为10km/h等。若手机的实时位移速度大于该预设速度阈值,则可认为手机当前正位于交通工具上,此时进入步骤S50;而若手机的实时位移速度小于或等于该预设速度阈值,则保持当前模式不变。
步骤S50,若所述实时位移速度大于所述预设速度阈值,则通过所述移动终端的摄像头获取预设范围内的范围图像,并判断所述范围图像中是否存在所述预设目标用户的用户图像;
本实施例中,若手机的实时位移速度大于该预设速度阈值,则手机将通过摄像头获取预设范围内的范围图像;再得到该范围图像时,可对该范围图像进行识别,判断该范围图像中是否存在预设目标用户的用户图像;若该范围图像中存在预设目标用户的用户图像,则可认为预设目标用户当前处于运行的交通工具上使用手机,此时进入步骤S60;而若该范围图像中不存在预设目标用户的用户图像,则保持当前模式不变。
步骤S60,若所述范围图像中存在所述预设目标用户的用户图像,则进入所述语音控制模式。
本实施例中,若该范围图像中存在预设目标用户的用户图像,则可认为预设目标用户当前处于运行的交通工具上使用手机,此时手机将自动启动该语音控制应用并进入语音控制模式,用户可通过语音的方式对手机进行操作,为用户了提供方便。
当然,在实际中,用户也可能是正在运行的地铁、公交车、出租车上使用手机,此时虽然用户当前处于运行的交通工具上使用手机,但并不影响用户手动操作,对此,手机还可设置其它的判定规则,以进一步确定是否需要进入语音控制模式。例如手机此时可发出相关的语音询问信息,如“检测到您处于运行的交通工具上使用手机,请问是否进入语音模式”,然后采集用户的回复语音,若用户在预设时间内回答“是”,则进入语音控制模式;若用户回答在预设时间内回答“否”或是未在预设时间内采集到用户的回复语音,则保持当前模式不变。通过以上方式,可进一步提高环境判断的准确性,从而提高用户的体验。
此外,本发明实施例还提供一种移动终端的控制装置。
参照图4,图4为本发明移动终端的控制装置第一实施例的功能模块示意图。
本实施例中,所述移动终端的控制装置包括:
语音分析模块10,用于在处于语音控制模式时,若接收到语音信息,则对所述语音信息进行声纹分析,判断所述语音信息是否来源于预设目标用户;
信息确定模块20,用于若判断所述语音信息来源于所述预设目标用户,则根据所述语音信息确定对应的第三方目标应用和目标功能;
应用调用模块30,用于根据所述第三方目标应用的应用类型确定对应的第三方目标调用规则,并基于所述第三方目标调用规则调用所述第三方目标应用,启动所述第三方目标应用的目标功能。
其中,上述移动终端的控制装置的各虚拟功能模块存储于图1所示移动终端的存储器1005中,用于实现控制程序的所有功能;各模块被处理器1001执行时,可实现移动终端的语音控制的功能。
进一步的,所述应用调用模块30包括:
模板获取单元,用于获取所述第三方目标应用的调用接口规范,并根据所述调用接口规范获取对应的标识符模板;
模板填充单元,用于根据所述目标功能和所述调用接口规范对所述标识符模板进行内容填充,构造得到对应的目标标识符;
标识符输入单元,用于将所述目标标识符输入至所述第三方目标应用的第三方调用接口,以调用所述第三方目标应用,并启动所述第三方目标应用的目标功能。
进一步的,所述应用调用模块30包括:
界面显示单元,用于启动所述第三方目标应用,并显示所述第三方目标应用的目标应用界面;
界面识别单元,用于对所述目标应用界面进行识别,并在所述目标应用界面中确定所述目标功能对应的功能触发区域和所述功能触发区域的功能触发类型;
操作模拟单元,用于根据所述功能触发类型调用对应的操作控件,并通过所述操作组件在所述功能触发区域进行模拟操作,以启动所述第三方目标应用的目标功能。
进一步的,所述移动终端的控制装置还包括:
速度检测模块,用于检测所述移动终端的实时位移速度,并判断所述实时位移速度是否大于预设速度阈值;
图像判断模块,用于若所述实时位移速度大于所述预设速度阈值,则通过所述移动终端的摄像头获取预设范围内的范围图像,并判断所述范围图像中是否存在所述预设目标用户的用户图像;
模式进入模块,用于若所述范围图像中存在所述预设目标用户的用户图像,则进入所述语音控制模式。
进一步的,信息确定模块20包括:
信息解析单元,用于对所述语音信息进行解析,并从所述语音信息中提取得到对应的功能关键词;
应用确定单元,用于根据所述功能关键词确定对应的目标功能,并根据所述目标功能确定对应的第三方目标应用。
进一步的,所述应用确定单元包括:
应用查询子单元,用于查询所述移动终端中已安装的第三方应用,并判断所述已安装的第三方应用中是否存在支持所述目标功能的第三方可选应用;
第一确定子单元,用于若所述已安装的第三方应用中存在所述第三方可选应用,则在所述第三方可选应用中确定第三方目标应用;
第二确定子单元,用于若所述已安装的第三方应用中不存在所述第三方可选应用,则通过网络下载安装支持所述目标功能的第三方网络应用,并将所述第三方网络应用确定为第三方目标应用。
进一步的,所述第一确定子单元,具体用于若所述已安装的第三方应用中存在所述第三方可选应用,则确定所述第三方可选应用的应用数量;若第三方可选应用的应用数量为两个以上,则根据所述第三方可选应用各自的使用频率在所述第三方可选应用中确定第三方目标应用。
其中,上述移动终端的控制装置中各个模块的功能实现与上述移动终端的控制方法实施例中各步骤相对应,其功能和实现过程在此处不再一一赘述。
此外,本发明实施例还提供一种可读存储介质。
本发明可读存储介质上存储有控制程序,其中所述控制程序被处理器执行时,实现如上述的移动终端的控制方法的步骤。
其中,控制程序被执行时所实现的方法可参照本发明移动终端的控制方法的各个实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种移动终端的控制方法,其特征在于,所述移动终端的控制方法应用于移动终端,所述移动终端的控制方法包括:
在处于语音控制模式时,若接收到语音信息,则对所述语音信息进行声纹分析,判断所述语音信息是否来源于预设目标用户;
若判断所述语音信息来源于所述预设目标用户,则根据所述语音信息确定对应的第三方目标应用和目标功能;
根据所述第三方目标应用的应用类型确定对应的第三方目标调用规则,并基于所述第三方目标调用规则调用所述第三方目标应用,启动所述第三方目标应用的目标功能。
2.如权利要求1所述的移动终端的控制方法,其特征在于,所述基于所述第三方目标调用规则调用所述第三方目标应用,启动所述第三方目标应用的目标功能的步骤包括:
获取所述第三方目标应用的调用接口规范,并根据所述调用接口规范获取对应的标识符模板;
根据所述目标功能和所述调用接口规范对所述标识符模板进行内容填充,构造得到对应的目标标识符;
将所述目标标识符输入至所述第三方目标应用的第三方调用接口,以调用所述第三方目标应用,并启动所述第三方目标应用的目标功能。
3.如权利要求1所述的移动终端的控制方法,其特征在于,所述基于所述第三方目标调用规则调用所述第三方目标应用,并启动所述第三方目标应用的目标功能的步骤包括:
启动所述第三方目标应用,并显示所述第三方目标应用的目标应用界面;
对所述目标应用界面进行识别,并在所述目标应用界面中确定所述目标功能对应的功能触发区域和所述功能触发区域的功能触发类型;
根据所述功能触发类型调用对应的操作控件,并通过所述操作组件在所述功能触发区域进行模拟操作,以启动所述第三方目标应用的目标功能。
4.如权利要求1所述的移动终端的控制方法,其特征在于,所述在处于语音控制模式时,若接收到语音信息,则对所述语音信息进行声纹分析,判断所述语音信息是否来源于预设目标用户的步骤之前,还包括:
检测所述移动终端的实时位移速度,并判断所述实时位移速度是否大于预设速度阈值;
若所述实时位移速度大于所述预设速度阈值,则通过所述移动终端的摄像头获取预设范围内的范围图像,并判断所述范围图像中是否存在所述预设目标用户的用户图像;
若所述范围图像中存在所述预设目标用户的用户图像,则进入所述语音控制模式。
5.如权利要求1至4中任一项所述的移动终端的控制方法,其特征在于,所述根据所述语音信息确定对应的第三方目标应用和目标功能的步骤包括:
对所述语音信息进行解析,并从所述语音信息中提取得到对应的功能关键词;
根据所述功能关键词确定对应的目标功能,并根据所述目标功能确定对应的第三方目标应用。
6.如权利要求5所述的移动终端的控制方法,其特征在于,所述根据所述目标功能确定对应的第三方目标应用的步骤包括:
查询所述移动终端中已安装的第三方应用,并判断所述已安装的第三方应用中是否存在支持所述目标功能的第三方可选应用;
若所述已安装的第三方应用中存在所述第三方可选应用,则在所述第三方可选应用中确定第三方目标应用;
若所述已安装的第三方应用中不存在所述第三方可选应用,则通过网络下载安装支持所述目标功能的第三方网络应用,并将所述第三方网络应用确定为第三方目标应用。
7.如权利要求6所述的移动终端的控制方法,其特征在于,所述若所述已安装的第三方应用中存在所述第三方可选应用,则在所述第三方可选应用中确定第三方目标应用的步骤包括:
若所述已安装的第三方应用中存在所述第三方可选应用,则确定所述第三方可选应用的应用数量;
若第三方可选应用的应用数量为两个以上,则根据所述第三方可选应用各自的使用频率在所述第三方可选应用中确定第三方目标应用。
8.一种移动终端的控制装置,其特征在于,所述移动终端的控制装置包括:
语音分析模块,用于在处于语音控制模式时,若接收到语音信息,则对所述语音信息进行声纹分析,判断所述语音信息是否来源于预设目标用户;
信息确定模块,用于若判断所述语音信息来源于所述预设目标用户,则根据所述语音信息确定对应的第三方目标应用和目标功能;
应用调用模块,用于根据所述第三方目标应用的应用类型确定对应的第三方目标调用规则,并基于所述第三方目标调用规则调用所述第三方目标应用,启动所述第三方目标应用的目标功能。
9.一种移动终端,其特征在于,所述移动终端包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的控制程序,其中所述控制程序被所述处理器执行时,实现如权利要求1至7中任一项所述的移动终端的控制方法的步骤。
10.一种可读存储介质,其特征在于,所述存储介质上存储有控制程序,其中所述控制程序被处理器执行时,实现如权利要求1至7中任一项所述的移动终端的控制方法的步骤。
CN201910433466.3A 2019-05-21 2019-05-21 移动终端的控制方法、装置、移动终端及可读存储介质 Pending CN110310648A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910433466.3A CN110310648A (zh) 2019-05-21 2019-05-21 移动终端的控制方法、装置、移动终端及可读存储介质
PCT/CN2019/122033 WO2020233074A1 (zh) 2019-05-21 2019-11-29 移动终端的控制方法、装置、移动终端及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910433466.3A CN110310648A (zh) 2019-05-21 2019-05-21 移动终端的控制方法、装置、移动终端及可读存储介质

Publications (1)

Publication Number Publication Date
CN110310648A true CN110310648A (zh) 2019-10-08

Family

ID=68075516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910433466.3A Pending CN110310648A (zh) 2019-05-21 2019-05-21 移动终端的控制方法、装置、移动终端及可读存储介质

Country Status (2)

Country Link
CN (1) CN110310648A (zh)
WO (1) WO2020233074A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110865844A (zh) * 2019-11-28 2020-03-06 安徽江淮汽车集团股份有限公司 基于车联网平台的应用配置系统及方法
WO2020233074A1 (zh) * 2019-05-21 2020-11-26 深圳壹账通智能科技有限公司 移动终端的控制方法、装置、移动终端及可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112863514B (zh) * 2021-03-15 2024-03-15 亿咖通(湖北)技术有限公司 一种语音应用的控制方法和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103915095A (zh) * 2013-01-06 2014-07-09 华为技术有限公司 语音识别的方法、交互设备、服务器和系统
CN204116902U (zh) * 2014-02-10 2015-01-21 美的集团股份有限公司 对家用电器语音控制的语音控制端及控制终端
CN105430433A (zh) * 2015-10-29 2016-03-23 小米科技有限责任公司 信息处理方法及装置
CN107644509A (zh) * 2017-09-04 2018-01-30 深圳支点电子智能科技有限公司 智能手表和相关产品
CN107911335A (zh) * 2017-09-26 2018-04-13 五八有限公司 校验统一资源标识符uri的方法、装置和系统
CN108597512A (zh) * 2018-04-27 2018-09-28 努比亚技术有限公司 移动终端控制方法、移动终端及计算机可读存储介质
CN109656512A (zh) * 2018-12-20 2019-04-19 Oppo广东移动通信有限公司 基于语音助手的交互方法、装置、存储介质及终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144252B (zh) * 2013-11-28 2016-04-20 腾讯科技(深圳)有限公司 一种语音通信方法及移动终端
CN104298904A (zh) * 2014-09-30 2015-01-21 北京金山安全软件有限公司 移动终端的语音识别功能控制方法、装置和移动终端
CN107621882A (zh) * 2017-09-30 2018-01-23 咪咕互动娱乐有限公司 一种控制模式的切换方法、装置及存储介质
CN110310648A (zh) * 2019-05-21 2019-10-08 深圳壹账通智能科技有限公司 移动终端的控制方法、装置、移动终端及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103915095A (zh) * 2013-01-06 2014-07-09 华为技术有限公司 语音识别的方法、交互设备、服务器和系统
CN204116902U (zh) * 2014-02-10 2015-01-21 美的集团股份有限公司 对家用电器语音控制的语音控制端及控制终端
CN105430433A (zh) * 2015-10-29 2016-03-23 小米科技有限责任公司 信息处理方法及装置
CN107644509A (zh) * 2017-09-04 2018-01-30 深圳支点电子智能科技有限公司 智能手表和相关产品
CN107911335A (zh) * 2017-09-26 2018-04-13 五八有限公司 校验统一资源标识符uri的方法、装置和系统
CN108597512A (zh) * 2018-04-27 2018-09-28 努比亚技术有限公司 移动终端控制方法、移动终端及计算机可读存储介质
CN109656512A (zh) * 2018-12-20 2019-04-19 Oppo广东移动通信有限公司 基于语音助手的交互方法、装置、存储介质及终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233074A1 (zh) * 2019-05-21 2020-11-26 深圳壹账通智能科技有限公司 移动终端的控制方法、装置、移动终端及可读存储介质
CN110865844A (zh) * 2019-11-28 2020-03-06 安徽江淮汽车集团股份有限公司 基于车联网平台的应用配置系统及方法
CN110865844B (zh) * 2019-11-28 2021-09-28 安徽江淮汽车集团股份有限公司 基于车联网平台的应用配置系统及方法

Also Published As

Publication number Publication date
WO2020233074A1 (zh) 2020-11-26

Similar Documents

Publication Publication Date Title
KR102505597B1 (ko) 어시스턴트 애플리케이션을 위한 음성 사용자 인터페이스 단축
CN110288987B (zh) 用于处理声音数据的系统和控制该系统的方法
KR102389625B1 (ko) 사용자 발화를 처리하는 전자 장치 및 이 전자 장치의 제어 방법
CN112270925B (zh) 用于创建可定制对话系统引擎的平台
CN109145204B (zh) 画像标签生成和使用方法及系统
KR102155977B1 (ko) 제3자 서비스를 디지털 어시스턴트와 통합하기 위한 시스템 및 방법
CN112513833A (zh) 用于基于预先合成的对话提供人工智能服务的电子设备和方法
US8219406B2 (en) Speech-centric multimodal user interface design in mobile technology
CN110998720A (zh) 话音数据处理方法及支持该方法的电子设备
US20150019219A1 (en) Systems and methods for spoken dialog service arbitration
JP2011059659A (ja) 第1の機能及び第2の機能を含む複数の機能を有効にするためのシステムおよび方法
CN107481719A (zh) 个人助理模块的非确定性任务发起
CN105723360A (zh) 利用情感调节改进自然语言交互
CN110462647B (zh) 电子设备及执行电子设备的功能的方法
CN110310648A (zh) 移动终端的控制方法、装置、移动终端及可读存储介质
CN116844543A (zh) 一种基于语音交互的控制方法及系统
CN105190607A (zh) 通过智能数字助理的用户培训
CN101669090A (zh) 情绪提示系统和方法
JP2011059676A (ja) 発話入力に基づいて複数の機能を有効にするためのシステム及び方法
JP2014098844A (ja) 対話支援装置、対話システム、対話支援方法及びプログラム
CN110070861A (zh) 信息处理装置和信息处理方法
CN111667824A (zh) 智能体装置、智能体装置的控制方法及存储介质
CN106372203A (zh) 一种智能终端的信息响应方法、装置和智能终端
CN105869631B (zh) 语音预测的方法和装置
US11443738B2 (en) Electronic device processing user utterance and control method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination