CN108509119B - 用于功能执行的电子设备的操作方法和支持其的电子设备 - Google Patents

用于功能执行的电子设备的操作方法和支持其的电子设备 Download PDF

Info

Publication number
CN108509119B
CN108509119B CN201810164602.9A CN201810164602A CN108509119B CN 108509119 B CN108509119 B CN 108509119B CN 201810164602 A CN201810164602 A CN 201810164602A CN 108509119 B CN108509119 B CN 108509119B
Authority
CN
China
Prior art keywords
state
voice
user
processor
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810164602.9A
Other languages
English (en)
Other versions
CN108509119A (zh
Inventor
李仁种
姜相机
朴星波
徐壮锡
李志秀
崔国泰
具翰俊
李多顺
张东镐
全镛俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170081506A external-priority patent/KR102376964B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108509119A publication Critical patent/CN108509119A/zh
Application granted granted Critical
Publication of CN108509119B publication Critical patent/CN108509119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/629—Protecting access to data via a platform, e.g. using keys or access control rules to features or functions of an application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/257—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition electronically
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/27—Individual registration on entry or exit involving the use of a pass with central registration
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/66—Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • H04M1/667—Preventing unauthorised calls from a telephone set
    • H04M1/67—Preventing unauthorised calls from a telephone set by electronic means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/22—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/26—Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition using a biometric sensor integrated in the pass
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioethics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于功能执行的电子设备的操作方法，包括：接收与执行语音命令功能相关的执行信号，所述语音命令功能是基于语音输入执行的；确认电子设备的锁定状态，并基于与执行对应于语音输入的功能或输出对应于语音输入的结果相关的锁定状态，提供其中允许对存储在存储器中的全部信息进行访问的全部功能执行状态，或其中允许对存储在存储器中的部分信息进行访问的部分功能执行状态。

Description

用于功能执行的电子设备的操作方法和支持其的电子设备
相关申请的交叉引用
本申请基于且要求于2017年2月28日提交给韩国知识产权局且被分配序号10-2017-0026705的韩国专利申请和2017年6月27日提交给韩国知识产权局且被分配序号10-2017-0081506的韩国专利申请的优先权，它们的全部内容一并在此作为参考。
技术领域
本公开涉及一种利用语音命令执行用户功能的电子设备。
背景技术
除了可以支持使用按键或鼠标的传统输入方法之外，现代电子设备还可以支持利用用户语音的输入方法。例如，如智能手机或平板PC电子设备可以分析基于特定的应用输入的用户语音(例如，S-语音、Siri等)且可以将语音转换为文本或可以执行与语音对应的功能。此外，一些电子设备通常可以始终处于开机状态以保持话音识别，使得电子设备可以是唤醒的或者可以随时响应用户的声音来执行功能，如因特网冲浪、电话呼叫、或SMS/电子邮件读取。
在相关技术中，以在解除锁定状态时简单输出根据语音命令的功能执行结果的形式来执行屏幕锁定状态下的语音命令服务(例如，S-语音服务)操作。因此，每当用户运用语音执行功能以基于语音命令执行功能时，用户就必须解除锁定状态。
发明内容
本公开至少解决了上述问题和/或缺陷，且至少提供以下优点。因此，本公开的一个方面提供了一种用于在锁定状态下操作语音执行功能的方法和支持该方法的电子设备，其中基于语音执行功能的类型保持锁定状态或选择性地解除锁定状态，以解决对于锁定状态的控制的不便，并且使得用户能够确认语音执行功能的结果。
此外，在本文中公开的各个示例实施方案可以在锁定状态下基于语音命令自适应地提供功能执行结果。
根据本公开的各个示例实施方案，可以基于功能的类型自适应地输出在锁定状态下基于语音命令执行的功能的结果。根据各个实施方案，可以提供各个其它的效果。
根据本公开的一个方面，提供了一种电子设备。电子设备可以包括：壳体，所述壳体包括第一表面、与所述第一表面相对的第二表面和侧表面；触摸屏显示器，所述触摸屏显示器暴露于所述第一表面之外；无线通信电路，被设置在所述壳体内部；输入按钮，所述输入按钮暴露于所述侧表面中的一个或所述第一表面之外；麦克风，所述麦克风暴露于所述壳体的表面之外；处理器，所述处理器被设置在所述壳体内部并且与所述无线通信电路、所述输入按钮、所述麦克风和所述触摸屏显示器电连接；以及存储器，所述存储器被设置在所述壳体内部并且与所述处理器电连接，且包括具有第一用户界面的交互式应用，其中所述存储器存储至少一个指令，所述至少一个指令在被所述处理器执行时使得所述电子设备：当所述触摸屏显示器上正显示锁定屏幕时，保持锁定状态；在所述锁定状态下通过生物计量传感器接收用户认证信息；当所述触摸屏显示器上正输出锁定屏幕时，将所述设备状态改变为解锁状态；响应于通过所述输入按钮和/或所述麦克风接收到的第一用户输入而执行所述交互式应用；当所述电子设备被解锁时，在接收到所述第一输入之后通过所述触摸屏显示器和/或所述麦克风接收请求；通过所述无线通信电路将与所述请求相关的第一数据发送至服务器；通过所述无线通信电路从所述服务器接收与至少一个指令相关的第二数据；和基于所述第二数据的至少一部分执行动作，并且其中所述动作包括以下各项中的至少一个：在所述电子设备的所述锁定状态下执行的第一类型功能；在其中使用所述第一用户界面解除锁定设置且显示所述锁定屏幕的状态下执行的第二类型功能；被设置为指示使用所述第一用户界面并需要执行另一个应用程序的第三类型功能；以及被设置为改变主屏幕并自动执行另一个应用程序的第四类型功能。
根据本公开的另一个方面，提供了一种电子设备。电子设备可以包括：显示器；存储器，被配置成存储要在所述显示器上输出的至少一个信息；输入装置，所述输入装置包括输入电路，所述输入电路被配置成接收用于基于语音输入执行指定的语音命令功能的执行信号的输入；以及处理器，所述处理器与所述显示器、所述输入装置和所述存储器电连接；其中所述处理器被配置成：当接收到与执行所述语音命令功能相关的所述执行信号和所述语音输入时，确认所述电子设备的锁定状态的信息；以及基于与执行对应于所述语音输入的功能或输出对应于所述语音输入的结果相关的锁定状态，提供以下各项中的任何一个：其中允许对存储在所述存储器中的全部信息进行访问的全部功能执行状态；以及其中允许对存储在所述存储器中的部分信息进行访问的部分功能执行状态。
根据本公开的另一个方面，提供了一种用于在锁定状态下基于语音命令执行功能的操作方法。该方法可以包括：接收与基于语音输入进行的语音命令功能的执行相关联的执行信号，确认电子设备的锁定状态，以及基于与执行对应于所述语音输入的功能或输出对应于所述语音输入的结果相关的锁定状态，提供其中允许对存储在所述存储器中的全部信息进行访问的全部功能执行状态，或者其中允许对存储在所述存储器中的部分信息进行访问的部分功能执行状态。
通过在下面结合附图公开了本公开的各个实施方案的详细描述，本公开的其它方面、优点和明显特征对于本领域技术人员是显而易见的。
附图说明
通过在下面结合附图的描述，本公开的某些实施方案的上述和其它方面、特征和优点将更加显而易见，在所述附图中：
图1是示出了根据本公开的各个实施方案的示例集成智能系统的图；
图2A是示出了根据本公开一个实施方案的集成智能系统的用户设备的一个示例的框图；
图2B是示出了根据本公开一个实施方案的集成智能系统的智能服务器的一个示例的框图；
图3是示出了根据本公开一个实施方案的依赖于锁定状态的电子设备的操作方法的一个示例的流程图；
图4是示出了根据本公开一个实施方案的依赖于锁定状态类型的电子设备的操作方法的一个示例的流程图；
图5是示出了根据本公开一个实施方案的依赖于解锁状态的电子设备的操作方法的一个示例的流程图；
图6是示出了根据本公开一个实施方案的基于锁定状态和位置的电子设备的操作方法的一个示例的流程图；
图7是示出了根据本公开一个实施方案的依赖于锁定状态和用户认证的电子设备的操作方法的一个示例的流程图；
图8是示出了根据本公开一个实施方案的依赖于锁定状态和语音命令的电子设备的操作方法的一个示例的流程图；
图9是示出了根据本公开一个实施方案的与提供提示相关的电子设备的操作方法的一个示例的流程图；
图10是示出了根据本公开一个实施方案的依赖于锁定状态的改变的电子设备的操作方法的一个示例的流程图；
图11是示出了根据本公开一个实施方案的依赖于屏幕是否处于锁定状态的屏幕界面的一个示例的图；
图12是示出了根据本公开一个实施方案的其中语音命令功能的状态依赖于锁定类型而变化的屏幕界面的一个示例的图；
图13是示出了根据本公开一个实施方案的依赖于是否完成认证而输出各个功能执行结果的屏幕界面的一个示例的图；
图14是示出了根据本公开一个实施方案的依赖于用户是否被认证的功能执行结果的不同的一个示例的图；
图15是示出了根据本公开一个实施方案的在锁定状态下基于语音命令的功能执行的一个示例的图；
图16是示出了根据本公开一个实施方案的依赖于是否执行认证而输出功能执行结果的屏幕界面的一个示例的图；
图17是示出了根据本公开一个实施方案的依赖于功能的类型与各个锁定屏幕处理算法相关的屏幕界面的一个示例的图；
图18A是示出了根据本公开一个实施方案的依赖于显示器的关闭状态而输出各个功能执行结果的屏幕界面的一个示例的图；
图18B是示出了根据本公开一个实施方案的依赖于显示器的开启状态而输出各个功能执行结果的屏幕界面的一个示例的图；
图19是示出了根据本公开各个实施方案的处于网络环境的电子设备的框图；
图20是示出了根据本公开各个实施方案的电子设备的示例构造的框图；
图21是示出了根据各个实施方案的电子设备的操作方法的一个示例的流程图；
图22是示出了根据本公开一个实施方案的集成智能系统的一个示例的框图；
图23是示出了根据本公开一个实施方案与集成智能服务操作相关的用户设备的操作方法的一个示例的流程图；
图24是示出了根据本公开一个实施方案的与应用于语音命令功能的语音解锁功能操作相关的屏幕界面的一个示例的图；
图25是示出了根据本公开一个实施方案的用于对应用于语音命令功能的语音解锁设置认证信息的方法的一个示例的图；
图26是示出了根据本公开一个实施方案的与应用于语音命令功能的语音解锁功能中的认证信息身份证明相关的屏幕界面的一个示例的图；
图27是示出了根据本公开一个实施方案的与设置应用于语音命令功能的语音解锁功能相关的屏幕界面的一个示例的图；
图28A和28B是示出了根据本公开一个实施方案的应用于执行语音命令功能的语音解锁功能操作的一个示例的图；
图29A和29B是示出了根据本公开一个实施方案的脸部识别和应用于执行语音命令功能的语音解锁功能操作的一个示例的图。
图30是示出了根据本公开一个实施方案的执行语音解锁功能的一个示例的图。
贯穿附图，应注意相同的附图标记用于表示相同或相似的元件、特征和结构。
具体实施方式
可以参考附图描述本公开的各个示例实施方案。因此，本领域普通技术人员将认识到本文中所述的各个实施方案的修改、等价和/或备选方案可以各自在不偏离本公开的范围和精神的范围内的情况下作出。关于附图的说明，类似的要素可以由类似的附图标记标示。
在本文所公开的本公开中，本文所用的表述“具有”、“可以具有”、“包括”和“包含”或“可以包括”和“可以包含”表示存在相应的特征(例如要素，如数值、功能、操作或部件)，但是不排除其它特征的存在。
在本文所公开的本公开中，本文所用的表述“A或B”、“A或/和B中的至少一个”、或“A或/和B的一个以上”等可以包括相关列举项的一个或多个中的任意一个和全部组合。例如，术语“A或B”、“A和B中的至少一个”或“A或B中至少一个”可以是指以下所有情况：(1)其中包含至少一个A的情况、(2)其中包含至少一个B的情况或(3)其中包含至少一个A和至少一个B两者的情况。
本文所用的词如“第一”、“第二”等可以是指各个实施方案的各个要素，但是不限于所述要素。此外，这些词可以用于将一个要素与另一个要素相区别。例如，“第一用户装置”和“第二用户装置”可以表示不同的用户装置，而与其顺序或优先无关。例如，“第一用户装置”和“第二用户装置”表示不同的用户装置。
应理解，当一个要素(例如，第一要素)被提及为与另一个要素(例如，第二要素)“(操作上或通信上)连接”或“相连”时，其可以与另一个要素直接连接或相连或者可以存在中间要素(例如，第三要素)。相反，当一个要素(例如，第一要素)被提及为与另一个要素(例如，第二要素)“直接连接”或“直接相连”时，应理解不存在中间要素(例如，第三要素)。
根据情况，本文所用的表述“被配置成”可以与表述“适用于”、“具有……的能力”、“被设计成”、“适合于”、“被制造成”或“能够”交换使用。术语“被配置成”不必仅仅表示在硬件上“具体被设计成”。相反，表述“装置被配置成”可以是指其中该装置“能够”与另一个装置或其它部件一起运行的情况。CPU，例如，“处理器被配置成执行A、B和C”可以是指，例如而非限制性地，用于执行相应的操作的专用处理器(例如，嵌入式处理器)或可以通过执行一个或多个存储在存储器装置中的软件程序而执行相应的操作的通用处理器(例如，中央处理器(CPU)或应用处理器)。
本公开中所用的术语用于描述具体实施方案并且不意图限制本公开的范围。单数形式的术语可以包括复数形式，除非另作说明。除非本文另外定义，本文所用的全部术语，包括技术或科学术语，可以具有本领域技术人员通常所理解的相同含义。应当进一步理解，在词典中定义和通常使用的术语也应当被解释为在有关的相关领域中是惯用的，而非理想化的或过于形式化的，除非在本文中在本公开的各个实施方案中这样明确定义。在一些情况下，即使术语是本公开中定义的术语，它们也可以不被解释为排除本公开的实施方案。
根据本公开的各个实施方案的电子设备可以包括智能手机、平板式个人电脑(PC)、移动电话、可视电话、电子书阅读器、台式个人电脑、膝上型个人电脑、笔记本电脑、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MPEG(MPEG-1或MPEG-2)Audio Layer-3(MP3)播放器、移动医疗装置、照相机、可穿戴装置(例如，头戴式装置(HMD)，如电子眼镜)、电子服装、电子手镯、电子项链、电子装饰件(appcessory)、电子文身、智能手表等中的至少一种，但是不限于此。
根据另一个实施方案，电子设备可以包括家用器具。家用器具可以包括例如，电视(TV)、数码影碟(DVD)播放器、音频器材、冰箱、空调、清洁器、烘箱、微波炉、洗衣机、空气清洁器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒(例如，Samsung HomeSyncTM、AppleTVTM或Google TVTM)、游戏控制板(例如，XboxTM或PlayStationTM)、电子词典、电子钥匙、摄像机、电子相框中的至少一种，但是不限于此。
根据另一个实施方案，电子设备可以包括医疗装置(例如，各种便携式医疗测量装置(例如，血糖监测装置、心率测量装置、血压测量装置、体温测量装置等))，磁共振血管造影机(MRA)、磁共振成像机(MRI)、计算断层摄影机(CT)、扫描仪和超声波装置)、导航装置、全球定位系统(GPS)接收器、事故数据记录仪(EDR)、飞行数据记录仪(FDR)、交通工具信息娱乐装置、用于舰船的电子设备(例如，航海系统和回转罗盘)、航空电子设备、安全装置、交通工具的头部装置、工业或家用机器人、自动出纳机(ATM)、售卖机(POS)或联网的物品(例如，灯泡、各种传感器、电表或气表、喷洒器装置、报警器、恒温器、路灯、烤面包机、训练设备、热水箱、加热器、烧水器等)等中的至少一种，但是不限于此。
根据另一个实施方案，电子设备可以包括家具或建筑/建筑物的一部分、电子面板、电子签名接收装置、投影仪或各种测量仪(例如，水表、电表、气表、测波仪等)等中的至少一种，但是不限于此。在各个实施方案中，电子设备可以是上述各种装置中的一种或它们的组合。根据一个实施方案的电子设备可以是柔性装置。此外，根据一个实施方案的电子设备可以不限于上述电子设备且可以包括其他电子设备且根据技术的发展包括新的电子设备。
在下文中，可以参考附图描述根据各个实施方案的电子设备。本文所用的术语“用户”可以是指使用电子设备的人或可以是指使用电子设备的装置(例如，人工智能电子设备)。
图1是示出了根据本公开的各个实施方案的集成智能系统的图。
参考图1，集成智能系统10可以包括用户设备100、智能服务器200、个性化信息服务器300和建议服务器400。集成智能系统10的用户设备100可以支持在锁定屏幕状态(或其中显示锁定屏幕的状态或锁定状态)下话音识别功能的有限使用。根据各个实施方案，当利用生物计量信号(例如，虹膜或指纹)作为用于解锁锁定屏幕的第二手段在锁定屏幕状态下使用有限的话音识别功能时，在集成智能系统环境中的用户设备100可以防止和/或降低用户想要的解锁的可能性以提供界面一致性并提高个人信息的安全性。
用户设备100可以通过存储在用户设备100中的APP(或应用程序或应用)(例如，警报、消息、图片(收藏)等)向用户提供必要的服务。例如，用户设备100可以通过存储在用户设备100中的话音识别应用(在下文中，称为APP)执行和运行另一个应用。用户设备100可以通过话音识别APP接收用于执行和运行另一个APP的用户输入。可以通过各种输入电路(例如而非限于物理按钮、触摸垫接收语音输入等。根据一个实施方案，可连接至因特网的各种类型的终端设备(或电子设备)，如移动电话、智能手机、个人数字助理(PDA)、笔记本电脑等可以对应于用户设备100。
根据一个实施方案，用户设备100可以接收用户的语音作为用户输入。用户设备100可以接收用户的语音并可以产生基于用户的语音运行APP的命令。因此，用户设备100使用该命令运行APP。在锁定屏幕状态下，上述用户设备100可以部分地或全部地执行APP执行操作，这依赖于运行APP的命令。
智能服务器200可以通过通信网络从用户设备100接收用户语音输入，且可以将所接收的语音输入改变为文本数据。在另一个实施方案中，智能服务器200可以基于文本数据生成(或选择)路径规则。路径规则可以包括关于执行APP的功能的动作(或操作)的信息和关于执行(或进行)该动作所必需的参数的信息。路径规则可以包括APP的运行顺序。用户设备100可以接收路径规则，依赖于路径规则选择应用程序，并执行所选择的应用中的路径规则所包含的操作。当依赖于路径规则执行应用时，用户设备100可以根据与锁定屏幕相关的各种状态(例如，锁定状态、解锁状态和其中通过简单的输入(例如，触摸手势)解除锁定的静音锁定状态)，部分地或全部地执行应用程序，并可以将作为结果的执行屏幕的至少一部分输出在锁定屏幕或解锁屏幕上。
例如，用户设备100可以执行操作，并可以在显示器上显示通过执行操作所获得的结果(或执行状态)。在另一个示例中，用户设备100可以执行操作并根据设置不在显示器上显示操作执行结果。例如，用户设备100可以执行多个操作，在显示器上仅仅显示通过执行多个操作所获得的部分结果。用户设备100可以仅显示例如通过在显示器上执行最新操作所获得的结果。在另一个示例中，用户设备100可以接收用户输入信号(例如，用户的语音、触摸等)以在显示器上显示操作执行结果。
个性化信息服务器300可以包括其中存储有用户信息的数据库。例如，个性化信息服务器300从用户设备100接收用户信息(例如，上下文信息、APP执行信息等)并可以将所接收的用户信息存储在数据库中。智能服务器200可以通过通信网络从个性化信息服务器300接收用户信息且可以使用所接收的用户信息以生成用于用户输入的路径规则。根据一个实施方案，用户设备100可以通过通信网络从个性化信息服务器300接收用户信息且可以使用所接收的用户信息作为用于管理数据库的信息。
建议服务器400可以包括数据库，其中存储了用户设备100中的功能或应用的简介或关于要提供的功能的信息。例如，建议服务器400可以从个性化信息服务器300接收用户设备100的用户信息且可以包括用户能够使用的功能的数据库。用户设备100可以通过通信网络从建议服务器400接收关于要提供的功能的信息且可以向用户提供信息。
即，根据一个实施方案，集成智能系统10通过用户设备100接收用户的语音作为用户输入，智能服务器200可以基于用户输入生成路径规则，且用户设备100可以根据路径规则运行APP。根据另一个实施方案，用户设备100可以包括智能服务器200、个性化信息服务器300和建议服务器400的全部或部分功能。例如，用户设备100基于用户输入信号生成路径规则以运行APP。根据另一个实施方案，智能服务器200、个性化信息服务器300和建议服务器400可以以一个或多个外部装置实现。
图2A是示出了根据本公开一个实施方案的集成智能系统的用户设备的一个示例的框图。
参考图2A，集成智能系统10可以包括用户设备100、智能服务器200、个性化信息服务器300和建议服务器400。
用户设备100可以包括输入模块(例如，包括输入电路的输入模块)110、显示器120、扬声器130、存储器140、传感器191和处理器(例如，包括处理电路和/或程序元件的处理器)150。用户设备100还可以包括壳体且用户设备100的元件可以被安装在壳体内或设置在壳体上。壳体可以包括第一表面、与所述第一表面相对的第二表面和侧表面。显示器120(或触摸屏显示器)的至少一部分可以暴露于第一表面之外。
输入模块110可以包括从用户接收用户输入的各个输入电路。例如，输入模块110可以从连接的外部装置(例如，按键、头戴式耳机等)接收用户输入信号。在另一个示例中，输入模块110可以包括与显示器120组合的触摸屏(例如，触摸屏显示器)。在另一个示例中，输入模块120可以包括设置在用户设备100(或用户设备100壳体)上的硬件按键(或物理键)。在输入模块110中包括的输入按钮可以暴露于侧表面之一或壳体的第一表面之外。
根据一个实施方案，输入模块110可以包括用于接收用户的话音作为语音信号的麦克风111。例如，输入模块110可以包括话音输入系统且可以通过话音输入系统接收用户的话音作为语音信号。麦克风111可以暴露于壳体的一个表面之外。
显示器120可以显示应用程序的图像、视频和/或执行屏幕。例如，显示器120可以显示APP的图形用户界面(GUI)。根据一个实施方案，显示器120可以例如而非限制性地为与触摸屏组合的触摸屏显示器。
扬声器130可以输出语音信号。例如，扬声器130可以向外部输出在用户设备100中生成的语音信号。
存储器140可以存储多个APP 141和143。可以根据用户输入选择、执行和运行存储在存储器140中的多个APP 141和143。例如，存储器140可以包括非易失性存储器(例如，闪存、硬盘等)和易失性存储器(例如，随机存取存储器(RAM))，多个APP 141和143可以存储在非易失性存储器中且可以上传到易失性存储器中来运行。存储器140可以被设置在壳体中且与处理器150电连接并可以包括(或存储)具有第一用户界面的用户交互式应用(例如，其功能至少部分通过用户输入信号执行的应用)。存储器140可以存储与执行处理器150的操作相关的一个或多个指令。
根据一个实施方案，存储器140可以包括用于存储识别用户输入所需的信息的数据库。例如，存储器140可以包括用于存储日志信息的日志数据库。在另一个示例中，存储器140可以包括用于存储用户信息的个人数据库。
处理器150可以包括各个处理电路并控制用户设备100的整个操作。例如，处理器150可以控制输入模块110以接收用户输入信号。处理器150可以控制显示器120以显示图像。处理器150可以控制扬声器130以输出声音信号。处理器150可以控制存储器140以输入或存储必需的信息。处理器150可以被设置在壳体内部且可以与通信电路(或无线通信电路)、输入按钮、麦克风111和显示器120电连接。
根据一个实施方案，处理器150可以包括各个处理电路和/或程序元件，如例如而非限制性地，智能代理151、执行管理器模块153和智能服务模块155。根据一个实施方案，处理器150可以执行存储在存储器140中的指令以驱动智能代理151、执行管理器模块153和智能服务模块155。在本公开的各个实施方案中提及的模块可以以硬件或软件的形式实现。在本公开的各个实施方案中通过智能代理151、执行管理器模块153和智能服务模块155进行的操作可以被理解为通过处理器150进行。
智能代理151可以生成指令以基于作为用户输入接收的语音信号运行APP。执行管理器模块153可以从智能代理151接收所生成的指令以选择、执行和运行存储在存储器140中的APP 141和143。智能服务模块155可以管理用户的信息且可以使用该信息以处理用户输入。
根据一个实施方案，处理器150可以根据存储在存储器140中的指令运行。例如，处理器150可以通过执行存储在存储器140中的指令控制设备100。传感器191可以包括各个传感器和/或传感电路，例如而非限制性地，例如，虹膜识别传感器、指纹识别传感器，RGB照相机传感器和位置信息收集传感器中的至少一个。虹膜识别传感器可以包括输出指定的波长范围内的光的光发射部和接收指定的波长范围内的光并且识别虹膜的光接收部。指纹识别传感器可以被设置在用户设备100的至少一区域中。例如，指纹识别传感器可以被设置在用户设备100的主按钮、用户设备100的副按钮(例如，物理按钮或被设置成与语音命令功能的执行相关的输入单元)或显示器120的至少一区域内。
因此，可以在用户按压主按钮、按压被分配为与语音命令功能(或用户交互式应用)的执行相关的副按钮、或触摸显示器120的区域的情况下执行指纹识别功能。RGB照相机传感器可以利用可见光获得指定的对象的图像。例如，RGB照相机传感器可以被激活以在用户按压指定的输入按钮(例如，主按钮、副按钮等)时获得用户的脸部的图像且将图像传输给处理器150。
上述用户设备100可以在锁定状态(例如，其中输出锁定屏幕的状态)下自适应地执行语音命令功能的至少一部分。例如，用户设备100可以在锁定状态下提供语音命令功能的全部功能执行状态(例如，其中用户设备100执行对存储在存储器140中的全部信息进行访问的功能的状态)。根据一个实施方案，用户设备100可以在解锁状态下提供语音命令功能的所述全部功能执行状态。在这方面，当需要执行语音命令功能时，用户设备100的处理器150可以收集语音命令且同时确认用户设备100当前是否处于锁定状态。处理器150可以不同地执行根据语音命令的功能，这依赖于用户设备100是否处于锁定状态。在下面的说明中，语音命令功能可以包括以下功能的至少一个：识别用户语音输入的功能、基于所识别的内容执行用户设备100的至少一个应用程序的功能、执行至少一个动作的功能(例如，对于所识别的每一个内容执行用户设备100的功能的单元)和输出对应于所识别的内容的结果(例如，答复)的功能。
关于动作，根据各个实施方案，语音命令功能可以包括以下的至少一个：第一动作，如果从用户收集到语音输入“发送给我的母亲在夏威夷所拍摄的照片”，基于存储在照片中的位置信息，检测在存储在收藏中的照片中夏威夷所拍摄的照片；第二动作，从电话薄信息检测与母亲相关的地址信息信息；第三动作，执行消息应用；第四动作，在消息应用的接收人地址信息区域中键入“母亲”和指定在夏威夷拍摄的照片作为在相应的消息应用中的附件；以及第五动作，发送相应的消息。在执行上述动作时，用户设备100可以将对应于至少一个动作(例如，相应动作的执行屏幕)的用户界面输出在显示器120上。
根据各个实施方案的用户设备100可以基于以下各项中的至少一个执行多个动作的全部或部分：用户设备是否处于锁定状态、锁定类型、是否完成认证、认证的类型、当前的位置和在其中用户设备100被配置成根据用户语音输入执行多个动作的状态中的动作类型。根据一个实施方案，用户设备100可以根据用户语音输入部分地或全部地执行要被执行的应用程序，这依赖于用户设备是否处于锁定状态、锁定类型等。
根据各个实施方案，用户设备100可以根据用户语音输入部分地或全部地输出要被输出的结果(例如，文本、图像、可听信息等)，这依赖于用户设备是否处于锁定状态、锁定类型等。因此，在下面的说明中，“全部功能执行状态”可以包括，例如而非限制性地，以下状态中的任意一个：执行对存储在存储器中的全部信息进行访问的功能的状态、根据用户输入信号执行至少一个动作的全部的状态、执行至少一个应用程序的全部的状态和输出要输出的全部结果的功能执行状态。
“部分功能执行状态”可以包括以下状态中的任意一个：执行对存储在存储器中的一些信息进行访问的功能的状态、根据用户输入信号执行要执行的至少一个动作的一部分的状态、执行至少一个应用程序的一部分的状态和输出要输出的一部分结果的功能执行状态。
应用的部分功能执行可以包括，例如，推迟功能的执行以使安全性可用。这里，部分功能可以包括收藏功能、时间表功能、电子邮件功能等，对于这些功能，当进行登录时需要安全性处理。如果需要用户设备100激活收藏功能、时间表功能或电子邮件功能，用户设备100可以不在显示器120上输出指定的应用程序的功能执行屏幕，并且可以在解除锁定状态的情况下在显示器120上输出相应的功能的执行屏幕。
图2B是示出了根据本公开一个实施方案的集成智能系统的智能服务器的一个示例的框图。
参考图2B，智能服务器200可以包括自动话音识别(ASR)模块(例如，包括各个处理电路和/或程序元件的自动话音识别(ASR)模块)210、自然语言理解(NLU)模块(例如，包括各个处理电路和/或程序元件的自然语言理解(NLU)模块)220、路径策划模块(例如，包括各个处理电路和/或程序元件的路径策划模块)230、自然语言生成器(NLG)模块(例如，包括各个处理电路和/或程序元件的自然语言生成器(NLG)模块)240、和文本至语音(TTS)模块(例如，包括各个处理电路和/或程序元件的文本至语音(TTS)模块)250。
智能服务器200的自动话音识别模块210、自然语言理解模块220和路径策划模块230可以生成路径规则。
根据一个实施方案，自动话音识别(ASR)模块210可以将从用户设备100接收的用户输入信号转换为文本数据。
根据一个实施方案，自动话音识别模块210可以包括话音识别模块。话音识别模块可以包括声学模型和语言模型。例如，声学模型可以包括与发声法相关的信息，且语言模型可以包括单位音素信息和关于单位音素信息的组合的信息。此外，语言模型可以选择一部分单位音素信息，或者可以基于环境(例如，位置、外围设备信息等)、服务条件(例如，APP状态、以前的询问历史记录等)等向部分单位音素信息分配权重值。话音识别模块利用与发声法和单位音素信息相关的信息将用户的语音转换为文本数据。关于声学模型和语言模型的信息可以被存储在例如自动话音识别数据库211。
根据一个实施方案，智能服务器200还可以包括扬声器识别模块。扬声器识别模块可以通过基于存储在数据库中的用户信息分析用户的语音来识别扬声器。扬声器识别模块可以由用户第一次基于语音输入生成扬声器识别模型且可以将所生成的扬声器识别模型存储在数据库中。根据一个实施方案，基于扬声器识别模型，扬声器识别模块可以确定用户是否为在模型中登记的扬声器。例如，在用户被确定为登记的扬声器的情况下，扬声器识别模块可以执行对应于用户输入的全部功能。在另一个示例中，在用户被确定为未登记的扬声器的情况下，扬声器识别模块可以执行仅有限的用户输入的功能。根据一个实施方案，扬声器识别模块可以被用作用于激活话音识别(唤醒识别)的方法。例如，扬声器识别模块可以确定语音是否为登记的扬声器语音且可以对登记的扬声器语音执行话音识别或自然语言处理。
根据一个实施方案，自然语言理解模块220可以通过进行语法分析和语义分析辨别用户意图。语法分析可以将用户输入分为句法单元(例如，词、短语、词素等)且可以分辨单元的语法元素。语义分析可以使用语义匹配、习惯匹配、惯用语句匹配等进行。因此，自然语言理解模块220可以基于语法分析和语义分析中的至少一个获得对应于用户输入的区域和意图以及表示该意图所需的参数(或时隙)。
例如，自然语言理解模块220可以根据每一种情况利用包括在基于规则的算法中的匹配规则，通过匹配区域、意图和参数来辨别用户意图。根据一个实施方案，路径策划模块230可以利用由自然语言理解模块220辨别的用户意图生成路径规则。下面将详细描述路径策划模块230。
根据一个实施方案，自然语言生成器(NLG)模块240可以将指定信息变为文本。文本形式可以是自然语言语音的形式。指定信息可以是例如，用于另外的输入的信息、用于通知完成操作的信息等。以文本形式改变的信息可以被传输至用户设备100且可以显示在显示器120上，或者可以被传输至文本至语音模块250且可以以语音的形式改变。
根据一个实施方案，文本至语音模块250可以将文本形式的信息变为语音形式的信息。文本至语音模块250可以从自然语言生成器模块240接收文本形式的信息，可以将文本形式的信息变为语音形式的信息，且可以将所改变的信息传输至用户设备100。用户设备100可以将语音形式的信息输出至扬声器130。
在下文中，将参考图3至18B描述与电子设备100的锁定屏幕状态相关的基于语音命令的功能执行的各个实施方案。
图3是示出了根据本公开一个实施方案的依赖于锁定状态的电子设备的操作方法的一个示例的流程图。参考图3，在依赖于锁定状态的电子设备(例如，用户设备100)的操作方法中，电子设备的处理器(例如，处理器150)在操作301中可以执行语音命令功能且收集语音命令。在这方面，电子设备可以分配至少一个物理按钮以执行语音命令功能，或者可以提供用于识别指定用户语音输入(例如，“Hi，Galaxy”，“Hi，Bixby”，等)的状态以执行语音命令功能。关于用户语音输入的识别，处理器150可以提供其中麦克风始终被开启的状态(例如，始终开启的状态)，且可以确定由麦克风收集的语音输入是否对应用于执行语音命令功能的指定语音输入。如果发生与执行语音命令功能相关的事件(例如，用于选择被分配以执行语音命令功能的物理按钮的输入，或用于要求执行语音命令功能的用户语音输入)，在操作303中处理器150可以确定电子设备是否处于锁定状态。在无锁定设置的情况下(例如，在不进行锁定设置的情况下，或者在解除锁定设置的情况下)，在操作305中处理器150可以根据所收集的语音命令执行全部功能。根据一个实施方案，处理器150可以开启显示器120且可以将对应于所收集语音命令的结果输出在显示器120上。在另一个实施方案中，处理器150可以开启显示器120且可以在执行对应于所收集的语音命令的多个动作的同时，在显示器120上按序输出动作执行屏幕。
在有锁定设置的情况下，在操作307中电子设备的处理器150可以根据所收集的语音命令将结果的一部分输出在显示器120上。根据一个实施方案，处理器150可以根据所收集的语音命令在显示器120上输出通过执行多个动作的一些获得的结果。根据另一个实施方案，处理器150可以在存储器140中根据所收集的语音命令存储和管理应用程序的功能执行屏幕，而不将功能执行屏幕输出在显示器120上，且可以提供以下信息：当解除锁定状态时输出功能执行屏幕(例如，可以输出弹出窗口或消息以产生解除锁定状态的要求)。
在执行上述操作中，电子设备可以在执行语音命令功能之前保持睡眠状态(例如，其中关闭显示器120的状态)，同时利用低功率处理器执行至少一个麦克风的始终开启的功能。当发生与执行语音命令功能相关的输入事件时，电子设备可以激活主处理器，且可以将锁定屏幕输出在开启的显示器120上。根据部分功能执行或对应于部分功能执行的至少一个目标的结果可以被包括在锁定屏幕中。
根据各个实施方案，电子设备可以确定在访问(或执行)之后结束用户语音输入时用户认证是否完成。在结束用户语音输入时，电子设备可以确定锁定状态是被解除还是维持。在根据用户认证的完成解除锁定状态的情况下，电子设备可以根据用户语音输入和存储在电子设备中的信息访问要被执行的全部应用以提供全部功能执行(或完全服务)。在当结束用户语音输入时因为未完成用户认证而不解除锁定状态的情况下，电子设备可以提供要在锁定状态(例如，其中输出锁定屏幕的状态)下提供的有限服务，或者可以输出用户界面(UI)以要求用户解除锁定状态。在提供另外的UI以要求用户解除锁定状态之后，如果通过根据用户输入信号接收认证信息而解除锁定状态，电子设备可以访问存储在电子设备中的全部信息以提供完全服务。在收集用户语音输入的同时解除锁定状态的情况下，电子设备可以根据语音命令功能的执行提供用于执行多个动作的屏幕。
图4是示出了根据本公开一个实施方案的依赖于锁定状态类型的电子设备的操作方法的一个示例的流程图。参考图4，关于依赖于锁定状态类型的电子设备的操作方法，在操作401中电子设备的处理器150可以执行语音命令并收集语音命令，由此发生要求执行语音命令功能的输入事件。在这方面，如果发生要求执行语音命令功能的输入事件，处理器150可以激活麦克风且可以收集用户语音输入。根据一个实施方案，处理器150可以将麦克风保持在始终开启的状态以收集要求执行语音命令功能和执行指定功能的用户语音输入。
在操作403中，处理器150可以确定电子设备是否处于锁定状态。在电子设备处于锁定状态的情况下，在操作405中处理器150可以确定锁定状态的类型。在锁定状态为第一类型的情况下，在操作407中处理器150可以根据用户语音输入(例如，所收集的语音命令)执行部分功能。例如，如果已经进行要求通过完成用户认证解锁的锁定设置，处理器150可以根据用户语音输入执行仅一部分功能(或部分功能)。
在锁定状态为不同于第一类型的第二类型的情况下，在操作409中处理器150可以根据用户语音输入执行全部功能。例如，如果已经输出需要指定的触摸事件或物理键输入事件用于屏幕保护的锁定屏幕，处理器150可以根据用户语音输入执行全部功能。在操作403中的确定结果显示电子设备未处于锁定状态的情况下，在操作409中处理器450可以根据用户语音输入执行全部功能。
图5是示出了根据本公开一个实施方案的依赖于解锁的电子设备的操作方法的一个示例的流程图。
参考图5，关于依赖于解锁的电子设备的操作方法，处理器150在操作501中可以执行语音命令功能且收集语音命令。在该操作中，处理器150可以执行与执行语音命令功能和收集语音命令的操作(已经参考图3或4描述)相同的操作或类似的操作。
如果处理器150被要求执行语音命令功能或者收集语音命令，在操作503中处理器150可以确定电子设备是否处于锁定状态。在电子设备未处于锁定状态的情况下，处理器150在操作505中可以根据用户语音输入(或所收集语音命令)执行全部功能。
在电子设备处于锁定状态的情况下，在操作507中处理器150可以确定用于解锁的认证是否完成。在这方面，处理器150可以例如收集用户指纹信息且可以将所收集的指纹信息与预先存储的指纹信息比较。根据一个实施方案，处理器150可以例如收集用户的虹膜信息且可以将所收集的虹膜信息与预先存储的虹膜信息比较。根据另一个实施方案，处理器150可以例如收集用户脸部信息、用户指纹信息和指定的口令中的至少一个且可以将所收集的信息与预先存储的信息比较。
在用于解锁的认证未完成或失败的情况下，在操作509中处理器150可以保持锁定状态且执行部分功能。因此，处理器150可以根据部分功能的执行、功能执行屏幕的至少一部分或者指定的屏幕，在锁定屏幕上输出结果。
根据各个实施方案，在其中响应用户语音仅仅执行指定功能(或APP执行规则)的一部分的部分功能执行期间解除锁定状态的情况下，处理器150可以通过解锁屏幕提供保持在锁定状态下的信息。根据一个实施方案，如果在输出锁定屏幕且显示根据部分功能的执行的信息的同时锁定屏幕被解锁，则处理器150可以在锁定屏幕解锁屏幕(例如，待机屏幕、主屏幕或者指定的应用执行屏幕)上输出根据部分功能的执行的信息。
备选地，处理器150可以将所述阶段(或屏幕状态)从部分功能执行变为全部功能执行，且可以在解锁屏幕上输出根据全部功能执行的信息(例如，包含根据部分功能执行的信息的信息)。
在用于解锁的认证完成的情况下，在操作511中，处理器150可以解锁且执行动作或输出结果。例如，处理器150可以将锁定屏幕解锁且可以在指定屏幕(例如，被配置成在执行解锁时输出的待机屏幕、主屏幕等)上输出根据用户语音输入的结果。根据一个实施方案，处理器150可以将锁定屏幕解锁且可以在根据用户语音输入执行多个动作的同时在显示器120上按序输出动作执行屏幕。
根据各个实施方案，如果处理器150被要求执行语音命令功能，处理器150可以自动执行虹膜识别功能或指纹识别功能以完成认证，然后可以保持静音解锁状态(例如，其中可通过指定的简单输入(例如，拖拉触摸或长时间按压)解除锁定屏幕的状态)。为了自动地执行识别功能，指纹传感器可以被设置在与执行语音命令功能相关的输入按钮中，且处理器150可以当按压相应的按钮时基于指纹传感器自动地执行指纹识别。备选地，如果与执行语音命令功能相关的输入信号(例如，输入按钮或对应于指定的词语或句子的语音)被接收以自动执行识别功能，处理器150可以自动激活虹膜传感器且可以通过跟踪用户的虹膜执行识别功能，从而获得图像，且将虹膜信息与预先存储的虹膜信息比较。处理器150可以允许通过锁定屏幕设置屏幕选择静音解锁功能。因此，在设置静音解锁的情况下，即使在锁定状态下执行认证，处理器150也可以输出静音解锁定屏幕(例如，其中可通过简单的输入解除锁定屏幕和锁定的屏幕)在显示器120上。语音命令功能的部分功能执行结果或者全部功能执行结果的至少一部分可以被输出在静音解锁屏幕上。
图6是示出了根据本公开的一个实施方案的基于锁定状态和位置的电子设备的操作方法的一个示例的流程图。参考图6，在基于锁定状态和位置的电子设备的操作方法中，如在上述操作501中一样，处理器150在操作601中可以执行语音命令功能且收集语音命令。
如果处理器150被要求执行语音命令功能或者收集语音命令，在操作603中处理器150可以确定电子设备是否处于锁定状态。在电子设备未处于锁定状态的情况下，处理器150在操作605中可以执行对应于用户语音输入(例如，所收集的语音命令)的全部功能。
在电子设备处于锁定状态的情况下，在操作607中处理器150可以确定电子设备是否处于指定的位置。在这方面，处理器150可以依赖于以下情况的至少一种激活位置信息收集传感器：其中在执行语音命令功能时收集指定用户语音命令的情况和其中要求在锁定状态下执行语音命令功能的情况。位置信息收集传感器可以包括例如，GPS传感器、基于Wi-Fi的定位传感器等。
如果电子设备的当前位置对应于指定位置，处理器150可以继续操作605以根据用户语音输入执行全部功能。如果电子设备的当前位置不对应于指定位置，在操作609中处理器150可以在保持锁定状态的同时根据用户语音输入执行部分功能。例如，如果在电子设备位于家里时收集用户语音输入，处理器150可以根据语音命令执行全部功能。备选地，在电子设备位于办公室或公共场所的情况下，处理器150可以在保持锁定状态(例如，其中在显示器120上输出锁定屏幕的状态)的同时根据用户语音输入执行部分功能。
图7是示出了根据本公开一个实施方案的依赖于锁定状态和用户认证的电子设备的操作方法的一个示例的流程图。
参考图7，关于依赖于锁定状态和用户认证的电子设备的操作方法，在操作701中处理器150可以执行语音命令功能且收集语音命令，且在操作703中可以确定电子设备是否处于锁定状态。如果电子设备未处于锁定状态，处理器150可以继续操作707以根据收集的语音命令执行全部功能。
在操作703中的确定结果为电子设备处于锁定状态的情况下，处理器150在操作705中可以确定电子设备的用户是否对应指定的用户。为了确定用户是否对应指定的用户，如果被要求执行语音命令功能，则处理器150可以例如自动激活照相机以收集用户脸部信息且可以将所收集的脸部信息与预先存储的脸部信息比较以确定用户的类型或用户是否对应指定的用户。如果脸部身份证明结果显示用户对应于指定的用户，处理器150在操作707中可以根据所收集的语音命令执行全部功能。根据一个实施方案，在用户不对应指定的用户的情况下，处理器150在操作709中可以在锁定状态下根据语音命令执行部分功能。
在上述操作中，处理器150可以执行另一个操作代替收集脸部信息和比较所收集的脸部信息与预先存储的脸部信息的操作。例如而非限制性地，处理器150可以例如基于指纹识别、虹膜识别和声音印迹识别中的至少一种执行用户认证。根据一个实施方案，在声音印迹识别的情况下，当收集语音命令时，处理器150可以比较所收集的语音命令与预先存储的声音模式以确定语音命令是否对应指定用户的声音。在指纹识别的情况下，电子设备可以包括设置在被分配为与语音命令功能的执行相关的物理按钮(例如，副按钮)中的指纹传感器，且当选择相应的物理按钮时，电子设备可以收集用户指纹信息以确定用户是否对应指定用户。
图8是示出了根据本公开的一个实施方案的依赖于锁定状态和语音命令的电子设备的操作方法的一个示例的流程图。
参考图8，关于依赖于锁定状态和语音命令的电子设备的操作方法，处理器150在操作801中可以执行语音命令功能且收集语音命令。在操作803中，处理器150可以确定电子设备是否处于锁定状态。在电子设备未处于锁定状态的情况下，处理器150在操作805中可以根据收集的语音命令执行全部功能。
在电子设备处于锁定状态的情况下，处理器150在操作807中可以确认根据语音命令要被执行的功能的类型或基于语音命令要被输出的结果值。在这方面，处理器150可以对所收集的语音命令执行话音识别且可以根据声音识别结果确认被执行的功能(例如，应用程序或动作)的类型，或要被输出的结果的分类信息。在这方面，电子设备可以包括用于被输出的结果的分类数据库。例如，分类数据库可以包括通过将在解锁状态下输出的结果分类而获得的分类信息，所述结果在锁定状态下被部分地输出(或执行)。根据一个实施方案，处理器150可以发送所收集的语音命令给服务器，且可以从服务器接收功能的类型或结果的分类信息。服务器可以根据语音命令或结果的分类信息将要执行的动作类型预先存储在电子设备中，且可以根据由电子设备提供的语音命令向电子设备提供功能的类型或结果的分类信息。
在操作809中，处理器150可以确定是否可以根据语音命令通过部分功能处理功能的类型或结果的分类信息。在这方面，处理器150将功能的类型或结果与预先存储的分类数据库比较，或者可以在由服务器提供的信息之中识别表示是否可以处理的信息。在可以通过部分功能执行处理的情况下，处理器150在操作811中可以在锁定状态下执行动作或者输出结果。例如，处理器150可以在显示器120的区域上显示结果，可以输出动作执行屏幕的至少一部分，或者可以在保持锁定屏幕的至少一部分的同时根据动作的执行输出结果。
在不可通过部分功能执行处理的情况下，处理器150在操作813中可以缓冲动作或输出结果。在该状态下，处理器150可以在维持锁定状态的同时输出通知用户需要解除锁定状态的UI。在操作815中，处理器150可以确定是否解除锁定状态。在不解除锁定状态的情况下，处理器150可以在操作813之前继续该状态以在缓冲状态下保持该动作或者输出结果，同时保持锁定状态。根据各个实施方案，如果过去了指定时间段，处理器150可以移除缓冲的输出结果、动作结果或动作执行屏幕。即使解除锁定状态，也可以不在显示器120上输出从缓冲移除的结果或动作结果。
如果在指定时间段内解除了锁定状态，处理器150在操作817中可以在解锁状态下执行所述动作且输出结果。根据一个实施方案，处理器150可以在解锁状态下输出缓冲的结果或缓冲的动作结果。
图9是示出了根据本公开一个实施方案的与提供提示相关的电子设备的操作方法的一个示例的流程图。
参考图9，关于与提供提示相关的电子设备的操作方法，处理器150在操作901中可以响应要求执行语音命令功能的输入事件执行语音命令功能。例如，处理器150可以响应映射到语音命令功能的执行的用户语音输入来执行语音命令功能。备选地，处理器150可以响应被配置成执行语音命令功能的物理按钮的选择来执行语音命令功能。在该操作中，可以根据执行语音命令功能的请求开启处于关闭状态的显示器120。
在操作903中，处理器150可以确定电子设备是否处于锁定状态。如果电子设备处于锁定状态，处理器150在操作905中可以提供第一类型的提示。如果电子设备未处于锁定状态，处理器150在操作907中可以提供第二类型的提示。
在锁定状态下输出的第一类型的提示可以包括与提供没有安全性设置或具有公开特性的信息相关的提示。第二类型的提示可以包括与提供具有安全性设置或具有私密特性的信息相关的提示。
提示可以包括当访问语音命令功能时用户可能请求的一系列指令。根据各个实施方案，提示可以包括介绍提示、语境提示或重复使用提示。
介绍提示可以包括向用户介绍电子设备的新功能或介绍其他人常用的功能的信息。备选地，介绍提示可以包括关于在电子设备中未使用的功能之中用户可能使用的功能的信息。
语境提示可以是在特定情况下暴露的提示，且可以包括当满足考虑到用户的时间、位置和出现(TOP)，基于TOP预先定义的条件时所推荐的信息。处理器150可以从预先定义的当前提示池中选择对于TOP条件合适的提示作为语境提示，且可以在显示器120上显示该提示。
重复使用提示可以提供基于个人TOP根据使用频率推荐基于用户语音和通过文本输入表现的言辞频繁使用的功能的提示。根据各个实施方案，处理器150可以将介绍提示分类和处理作为在锁定状态下提供的第一类型的提示。处理器150可以将语境提示和重复使用提示中的至少一种分类作为在解锁状态下提供的第二类型的提示。
根据各个实施方案，处理器150可以根据锁定类型提供各种提示。例如，处理器150可以在其中没有锁定屏幕的解锁状态下提供重复使用提示(例如，在显示器120上输出重复使用提示，或者以音频信息形式输出重复使用提示)。如果锁定屏幕在显示器120上输出但是处于不安全的锁定状态，处理器150可以在显示器120上输出语境提示。处理器150可以在需要用户认证(例如，指纹认证、口令输入等)的锁定状态下在显示器120上输出介绍提示。如上所述，处理器150可以根据提示类型和锁定屏幕状态不同地提供提示。
图10是示出了根据本公开一个实施方案的依赖于锁定状态的改变的电子设备的操作方法的一个示例的流程图。
参考图10，关于依赖于锁定状态的改变的电子设备的操作方法，处理器150在操作1001中可以执行语音命令功能且收集语音命令。
在操作1003中，处理器150可以确定是否在指定时间段内进入了锁定状态。例如，在通过输入电源键关闭显示器120使得电子设备自动进入锁定状态的情况下，处理器150可以计数输入电源键之后的时间以确定是否已经过了指定时间段。根据一个实施方案，在根据用于锁定状态转变(例如，与显示器120的睡眠状态转变相关的时间设置)的时间的消逝执行锁定状态的情况下，处理器150可以计算执行时间点之后的时间以确定是否已经过了指定时间段。处理器150可以通过将执行语音命令功能时的时间点与电子设备进入锁定状态时的时间点比较，确定是否在指定时间段中已经进入锁定状态。在这方面，如果电子设备进入锁定状态，处理器150可以确定是否需要语音命令功能的执行，同时计数时间。如果经过了指定时间段，处理器150可以停止计数时间。
如果在指定时间段内进入锁定状态(或者在进入锁定状态之后在指定时间段内发生执行语音命令功能的请求的情况下)，处理器150在操作1005中可以根据收集的语音命令执行全部功能。在该操作中，处理器150可以解除锁定状态，同时根据语音命令执行全部功能。根据一个实施方案，处理器150可以在执行全部功能之后自动进入锁定状态。
在指定时间段内未进入锁定状态的情况下(或者在进入锁定状态之后经过指定时间段后发生执行语音命令功能的请求的情况下)，处理器150在操作1007中可以根据所收集的语音命令执行部分功能。在该操作中，处理器150可以保持锁定状态，同时根据语音命令执行部分功能。因此，处理器150将根据语音命令的结果输出在锁定屏幕上，或者可以将根据语音命令的多个动作执行屏幕的至少一部分输出在至少一部分锁定屏幕上。
根据本公开的一个示例实施方案，提供在锁定状态下基于语音命令的功能执行的操作方法。该方法包括接收与基于用户语音输入进行的语音命令功能的执行相关联的执行信号，确认电子设备的锁定状态(或获得表示其的信息)，基于与执行对应于所述语音输入的功能或输出对应于所述语音输入的结果相关的锁定状态，提供其中允许对存储在所述存储器中的全部信息进行访问的全部功能执行状态、或其中允许对存储在所述存储器中的部分信息进行访问的部分功能执行状态。
根据本公开的各个示例实施方案，执行信号的接收包括以下各项中的至少一个：检测被分配为与执行语音命令功能相关的物理按钮的按压，和基于激活的麦克风获取对应于指定词语的语音。
根据本公开的各个示例实施方案，提供所述全部功能执行状态或所述部分功能执行状态包括：如果电子设备的显示器处于锁定状态，则基于所述部分功能执行状态输出对应于用户语音输入的结果。
根据本公开的各个示例实施方案，提供所述全部功能执行状态或所述部分功能执行状态包括：如果电子设备的显示器处于解锁状态或无锁定设置，则基于所述全部功能执行状态输出对应于用户语音输入的结果。
图11是示出了根据本公开一个实施方案的依赖于屏幕是否处于锁定状态的屏幕界面的一个示例的图。
参考图11，如果发生与语音命令功能相关的输入事件，电子设备的处理器150可以将根据语音命令功能的执行的屏幕显示在显示器120上。在该操作中，处理器150可以在已经设置锁定状态的情况下将锁定屏幕输出在显示器120上，且如果解除锁定状态，可以将根据语音命令功能的执行的屏幕输出在显示器120上。根据一个实施方案，如果在锁定状态下发生请求执行语音命令功能的输入事件，处理器150可以在显示器120上输出发出优先解除锁定状态的请求的消息，且如果解除锁定状态，处理器150可以执行语音命令功能。
根据各个实施方案，在其中根据锁定状态的锁定屏幕被输出在显示器120上的状态下按压与语音命令功能相关的物理按钮的情况下，处理器150可以将根据语音命令功能的执行的屏幕输出在显示器120上。根据一个实施方案，如果接收对应于执行语音命令功能的请求的语音输入(例如，语音输入“Hi，Bixby”)，处理器150可以执行语音命令功能。在该操作中，处理器150可以解除锁定状态(移除锁定屏幕)，或者可以将锁定屏幕置于背景，并将语音命令功能的执行屏幕置于顶层。如果语音命令功能结束，处理器150可以再次将锁定屏幕置于顶层。
根据各个实施方案，处理器150可以在显示器120上输出根据部分功能执行的屏幕。所述部分功能执行状态可以包括其中在锁定状态下执行语音命令功能的情况下电子设备根据用户语音输入部分地执行功能的状态。因此，处理器150可以在显示器120上输出与部分结果、部分应用程序或与根据用户语音输入执行的功能相关的部分动作相对应的信息。
处理器150可以支持在语音命令功能的执行之前依赖于电子设备的当前锁定设置的部分功能执行或全部功能执行。例如，如果在执行语音命令功能之前将锁定屏幕输出在显示器120上，如在状态1101下，处理器150可以支持部分功能执行状态。所述部分功能执行状态可以包括其中执行要根据用户语音输入执行的部分功能的状态。根据所述部分功能执行状态的屏幕可以包括例如锁定状态指示区域1110和部分功能执行指示区域1111。锁定状态指示区域1110可以是例如，其中至少一部分的锁定屏幕被显示的区域，或者包括指示锁定屏幕的对象的区域。所述部分功能执行状态可以包括其中根据用户语音输入的要执行的功能或要输出的结果以较低的安全性级别提供功能或结果的状态。参考所示例的图，可以在部分功能执行指示区域1111中显示关于公共信息(例如，与搜索天气、体育、政治等相关的信息)的提示作为提示。在部分功能执行状态下的显示器120的屏幕状态可以不同于全部功能执行状态下的显示器120的屏幕状态。例如，部分功能执行状态可以在背景颜色或指定的对象的显示方面不同于全部功能执行状态(例如在部分功能执行状态下在屏幕上显示锁定图标)。
根据各个实施方案，在所述部分功能执行状态下输出需要根据用户语音输入的结果(或者输出部分动作)之后需要根据全部功能执行的结果的情况下，处理器150可以输出请求解锁的引导信息。处理器150可以在解除锁定的情况下输出全部功能执行结果。
如果在执行语音命令功能之前解除锁定，处理器150可以支持所述全部功能执行状态，如状态1103。根据所述全部功能执行状态，处理器150可以在显示器120上显示根据解锁的主屏幕区域1120和用于语音命令功能的全部功能执行指示区域1121。所述全部功能执行状态可以包括其中根据用户语音输入的要执行的功能或要被输出的结果以较高的安全性级别提供功能或结果的状态。参考所示例的图，可以在全部功能执行指示区域1121中显示关于私密信息(例如，与搜索日程安排或个人相片相关的信息)的提示作为提示。
根据各个实施方案，在锁定状态下基于电子设备的位置执行语音命令功能的情况下，处理器150可以不同地提供收集的功能的状态(例如，部分功能执行状态或全部功能执行状态)。例如，在电子设备处于指定的第一场所(例如，家里)的情况下，处理器150可以自动解除锁定，且如果处理器150被要求在锁定状态下执行语音命令功能，则可以提供与语音命令功能相关的所述全部功能执行状态。根据一个实施方案，在电子设备在指定的第一场所(例如，家里)的情况下，如果在锁定状态下收集语音命令功能执行请求和用户语音输入，处理器150可以根据用户语音输入执行全部功能且可以输出结果。
根据另一个实施方案，如果电子设备在指定的第二场所(例如，办公室)且被要求在锁定状态下执行语音命令功能，处理器150可以保持锁定状态且可以提供与语音命令功能相关的部分功能执行状态。根据一个实施方案，如果电子设备在指定的第二场所且在锁定状态下收集语音命令功能执行请求和用户语音输入，处理器150可以根据用户语音输入执行部分功能且可以输出结果。上述第一或第二场所可以通过用户设置来增加、更改或删除。处理器150可以输出与指定场所相关的地图信息。
图12是示出了根据本公开一个实施方案的其中语音命令功能的状态依赖于锁定类型而变化的屏幕界面的一个示例的图。
参考图12，处理器150可以根据设置在显示器120上输出第一锁定屏幕1210，如状态1201。第一锁定屏幕1210可以包括例如可通过认证指纹解除的锁定屏幕。如果其中已经设置第一锁定屏幕1210的电子设备被要求执行语音命令功能，处理器150可以输出与部分功能执行相关的部分功能执行指示区域1211。例如，可以在部分功能执行指示区域1211中显示相对公开的提示。如果在其中在显示器120上输出部分功能执行指示区域1211的状态下收集需要相对私密的信息的用户输入信号，处理器150可以输出发出首先执行解锁的请求的信息。在这方面，电子设备可以包括用于进行用户语音输入的分析以区分用户语音输入是公开询问还是私密的询问的分类数据库。
处理器150可以根据设置在显示器120上输出第二锁定屏幕1220，如状态1203。第二锁定屏幕1220可以包括例如，可通过指定的手势如拖拉触摸解除的锁定屏幕。如果其中已经设置第二锁定屏幕1220的电子设备被要求执行语音命令功能，处理器150可以输出与全部功能执行相关的全部功能执行指示区域1221。例如，可以在全部功能执行指示区域1221中显示相对私密的提示。
根据各个实施方案，处理器150可以在第一锁定屏幕1210的状态下输出相对私密的提示。如果收集对应于私密的提示的用户语音输入，处理器150可以请求解锁，且如果执行解锁，处理器150可以输出根据用户语音输入的处理结果。根据各个实施方案，处理器150可以在第二锁定屏幕1220的状态下输出相对公开的和私密的提示，且如果收集用户语音输入，处理器150可以在锁定状态下将根据用户语音输入的处理结果输出在屏幕上，或者可以在解除锁定状态之后输出处理结果。
图13是示出了根据本公开一个实施方案的用于依赖于是否完成认证而输出各个功能执行结果的屏幕界面的一个示例的图。
参考图13，在状态1301下，如果选择与执行语音命令功能相关的物理按钮1390，处理器150可以执行语音命令功能。在该操作中，如果显示器120处于关闭状态，处理器150可以开启显示器120，且可以输出语音命令功能的执行屏幕。根据一个实施方案，在已经设置锁定屏幕的情况下，处理器150可以在其中执行语音命令功能的下状态将锁定屏幕输出在显示器120上。
如果通过选择物理按钮1390请求语音命令功能的执行，处理器150可以执行用户识别或用户认证。在这方面，处理器150可以例如用设置在电子设备一侧的照相机(例如，前置照相机)拍摄用户的脸部，且可以通过将脸部图像与预先存储的脸部信息比较执行用户鉴定。在上述操作中，如果选择物理按钮1390且键入用户语音输入，处理器150可以激活照相机以拍摄脸部图像。根据一个实施方案，处理器150可以利用虹膜识别传感器收集用户的虹膜信息，且可以基于收集的虹膜信息执行用户识别或用户认证。
如果用户被识别或认证，处理器150可以执行对应于由用户键入的语音输入的功能，如状态1303。例如，处理器150可以将对应于用户语音输入的文本输出在显示器120上，且可以收集对应于语音输入的结果。在该操作中，处理器150可以基于存储在存储器140中的信息收集对应于语音输入的结果，或者可以向服务器提供语音输入，且可以收集来自服务器的结果。如果结果被收集，处理器150可以输出该结果，如状态1305。在示出的图中，利用音频信息输出对应于语音输入的结果。根据一个实施方案，处理器150也可以将对应于语音输入的结果输出在显示器120上。
在用户认证或识别失败的情况下处理器150不能输出对应于语音输入的语音命令功能执行结果，但是可以输出指定的引导信息(例如，用于请求完成认证的引导信息)，同时将用户语音输入识别结果输出在显示器120上，与在状态1307中一样。引导信息可以以音频、文本和图像的至少一个的形式输出。
根据各个实施方案，当用户按压物理按钮1390以发出执行语音命令功能的请求时，处理器150可以执行指纹识别。在这方面，指纹识别传感器可以被设置在物理按钮1390中。当用户按压物理按钮1390时，处理器150可以执行指纹识别以认证用户，且根据用户认证结果，处理器150可以执行对应于用户语音输入的语音命令功能且可以输出语音命令功能执行结果，如状态1303和1305，或者可以输出请求完成认证的引导信息，如状态1307。在上述操作中，如果指纹识别在完成用户语音输入之前完成，则处理器150可以提供用于用户语音输入的全部功能执行状态。如果在完成用户语音输入之前未执行用户认证，处理器150可以与锁定屏幕一起提供部分功能执行状态，或者可以请求完成认证。可以在输入具有预定长度的用户语音之后基于其中在指定时间段内没有语音输入的状态来确定是否完成用户语音输入。
图14是示出了根据本公开一个实施方案的依赖于用户是否被认证的功能执行结果的不同的一个示例的图。
参考图14，电子设备可以包括与执行语音命令功能相关的物理按钮1490和被设置成邻近物理按钮1490或在其内部以执行指纹识别的指纹识别传感器。处理器150可以通过以下方式执行用户认证：在响应按压物理按钮1490的操作执行语音命令功能同时，收集与物理按钮1490接触的手指的指纹信息。如果通过响应物理按钮1490的选择而执行用户认证完成用户认证，处理器150可以提供用于语音命令功能的全部功能执行状态。例如，处理器150可以响应物理按钮1490的选择执行语音命令功能，且可以执行对应于所收集的用户语音输入的全部功能。全部功能可以包括，例如，处理器150在执行用户语音输入的功能时访问存储在存储器140中的全部信息而没有对存储器140的任何访问限制且提供随之产生的结果所用的功能。
处理器150可以执行用户语音输入的部分功能，这依赖于物理按钮1490的输入类型。例如，部分功能可以包括处理器150在执行用户语音输入的功能时基于对存储在存储器140中的一些信息的访问输出结果所用的功能。例如，如果通过短时间按压物理按钮1490的操作(例如，短时间按压)执行语音命令功能，当执行用户语音输入的功能时，处理器150可以提供部分功能执行状态。在所述部分功能执行状态下，处理器150可以保持锁定屏幕且可以根据部分功能执行输出结果。
根据各个实施方案，如果选择了如状态1401分配语音命令功能执行的物理按钮1490，处理器150可以执行语音命令功能且可以收集用户语音输入。如果输入物理按钮1490的选择作为与指定第一方式(例如，短时间按压)相对应的信号，或者用户认证未进行或失败，则处理器150可以输出用户语音输入的第一结果，如状态1403。例如，第一结果可以包括关于用户语音输入的基本信息。基本信息可以包括，例如，计算值(例如，距离、位置、所需时间等)作为其中不包括用户个人信息的信息。
根据各个实施方案，如状态1405，选择被分配语音命令功能执行的物理按钮1490，处理器150可以执行语音命令功能且可以收集用户语音输入。如果输入物理按钮1490的选择作为对应于指定第二方式(例如，长时间按压)的操作的信号或者完成用户认证，处理器150可以输出用户语音输入的第二结果，如状态1407。例如，第二结果可以包括关于用户语音输入的基本信息和其它信息。例如，其它信息可以包括，与计算值(例如与位置相关的日程安排信息或与位置相关的电子设备使用率历史信息)相关的用户信息作为用户个人信息。
图15是示出了根据本公开一个实施方案的在锁定状态下基于语音命令的功能执行的一个示例的图。
参考图15，在状态1501下，处理器150可以响应执行语音命令功能的请求将锁定屏幕输出在显示器120上。根据一个实施方案，处理器150可以在与执行语音命令功能相关的语音命令功能指示区域上输出锁定屏幕。如果在其中保持锁定屏幕的状态下接收用户语音输入，处理器150可以确定所接收的用户语音输入的特征。例如，处理器150可以确定要通过用户语音输入执行的功能是相对私密的还是公开的。根据一个实施方案，在通过用户语音输入执行电子设备的功能时，处理器150可以确定是否访问指定的存储器区域。这里，指定的存储器区域可以包括，例如，其中存储用户信息或个人信息的区域。例如，指定的存储器区域可以包括时间表程序、个人图片存储区域、电子邮件存储区域、电话薄存储区域等。
如状态1503，处理器150可以在部分功能执行状态(例如，其中执行语音命令功能同时保持锁定屏幕使得处理器150可部分地访问存储器140中存储的信息的状态)下请求全部功能执行(例如，请求对存储在存储器140中的全部信息的访问的功能的执行)执行根据用户语音输入的功能的情况下，输出请求解锁的屏幕。例如，请求解锁的屏幕可以包括用于选择是否现在执行解锁和执行根据用户语音输入的功能或者是否在稍后执行解锁的情况下执行根据用户语音输入的功能的项目。
根据各个实施方案，在所述部分功能执行状态下用户语音输入请求全部功能执行的情况下，处理器150可以缓冲根据用户语音输入的动作列表(例如，响应于用户语音输入要执行的应用和应用步骤)。如果如状态1505解锁锁定屏幕，处理器150可以输出询问是否执行缓冲的动作的弹出窗口。响应于用户选择，处理器150可以执行缓冲的动作或者可以删除缓冲的信息。为了支持缓冲的操作，电子设备的存储器140可以包括用于存储动作列表的缓冲模块或缓冲区域。
关于上述缓冲操作，处理器150可以收集响应用户语音输入执行的动作的规则集合(或者动作(或操作)的执行顺序列表)且可以确定相应的规则集合是否可以在所述部分功能执行状态下执行。在这方面，电子设备可以存储和管理其中可执行规则集合的状态(例如，所述部分功能执行状态或所述全部功能执行状态)的数据库。如果接收用于请求在解锁后执行根据用户语音输入的功能的用户输入信号，处理器150可以将规则集合存储在缓冲器中。之后，如果发生解锁事件，处理器150可以根据存储在缓冲器中的动作列表执行操作。
例如，在部分功能执行状态下收集到用户语音输入“发送在夏威夷拍摄的照片给我的妈妈”，处理器150可以在缓冲器中存储要根据用户语音输入执行的动作列表。如果解除锁定，则根据存储在缓冲器中的动作列表，处理器150可以搜索在夏威夷拍摄的照片、输出搜索屏幕、从电话薄列表中收集关于妈妈的信息、输出收集屏幕、执行消息、输出消息屏幕、将在夏威夷拍摄的照片附接到消息、输出附件屏幕、将消息传送给妈妈且输出附件屏幕。在上述操作中，处理器450可以输出确认是否执行缓冲的动作的确认窗口，且可以根据用户选择执行或取消所述动作。
图16是示出了根据本公开一个实施方案的依赖于是否执行认证而输出功能执行结果的屏幕界面的一个示例的图。
参考图16，如果电子设备的处理器150被请求在关闭状态1601下用显示器120执行语音命令功能，处理器150可以识别锁定设置且可以作出根据锁定设置不同的语音命令功能的执行范围。根据一个实施方案，显示器120可以处于关闭状态，如状态1601。如果按压与执行语音命令功能相关联的物理按钮1690，处理器150可以开启显示器120且可以输出指定的屏幕(例如，锁定屏幕)，如状态1603。在该操作中，处理器150可以识别锁定设定值。锁定设置可以包括锁定或解锁、锁定类型等。例如，处理器150可以在显示器120上输出包括锁定屏幕指示区域1610和语音命令功能指示区域1611的屏幕。
根据一个实施方案，在锁定设置对应指定的第一锁定状态(例如，被设置成使得使用虹膜、指纹、脸部等解除锁定的状态)的情况下，如果在关闭显示器120的同时按压物理按钮1690，处理器150可以基于背景处理执行认证且可以根据认证结果执行语音命令功能。在该操作中，处理器150可以通过背景处理执行虹膜识别、指纹识别、脸部识别等。例如，处理器150可以基于设置在物理按钮1690内部的指纹传感器，在按压物理按钮1690的同时自动地执行指纹感测。根据一个实施方案，如果按压物理按钮1690，处理器150可以自动地激活虹膜识别传感器以收集用户虹膜信息，且可以基于用户的虹膜信息执行认证。根据另一个实施方案，如果按压物理按钮1690，处理器150可以自动地激活RGB照相机传感器以收集用户脸部信息且可以将所收集的用户脸部信息与预先存储的脸部信息比较以执行用户认证。根据一个实施方案，处理器150可以执行用户语音输入的声音印迹认证(例如，在当前输入的声音模式与预先存储的声音模式之间的比较)。可以通过背景处理执行指纹感测、虹膜感测、脸部识别和声音印迹认证。关于指纹认证、虹膜认证、声音印迹认证和脸部识别，可以预先存储包括指纹、虹膜、声音和脸部中的至少一个的生物计量信息。可以将用户生物计量信息加密且稳定地存储在电子设备内的安全模块中。
根据一个实施方案，锁定设置可以对应第二锁定状态(例如，其中可通过手势输入信号解除锁定屏幕的状态)。在这种情况下，处理器150可以在其中在显示器120上输出锁定屏幕的状态下输出根据语音命令功能的执行的信息，而不执行单独的用户认证。例如，如状态1605，处理器150可以在显示器120上输出屏幕，所述屏幕包括指示其中可通过指定的手势移动(例如，拖拉触摸)解除锁定而不执行任何单独的认证操作的锁定状态(例如，静音解锁的)的锁定状态指示区域1620，和指示语音命令功能的语音命令功能指示区域1621。如果处理器150被请求在其中已经设置不请求用户认证的锁定屏幕的状态下执行语音命令功能，处理器150可以在显示器120上输出相对公开的提示(例如，指示新闻、天气等的信息)。
根据一个实施方案，如果完成了基于背景处理的用户认证，如状态1607，处理器150可以输出指示认证完成的信息(例如，解锁的)以通知锁定状态被解除。根据各个实施方案，处理器150可以在显示器120上输出根据认证的完成和手势输入信号解锁的锁定屏幕区域1620，和用于指示语音命令功能的执行的区域1622。在该操作中，处理器150可以根据基于背景处理的解锁在显示器120上输出指定信息(例如，指示相对私密的日程安排或收藏功能的信息)。附加地或备选地，处理器150可以输出在执行语音命令功能的过程中收集的根据用户语音输入的功能的执行结果。如果在输出功能执行结果之后经过指定的时间段，处理器150可以变为第一锁定状态(例如，其中可通过手势输入信号解除锁定屏幕的状态)或者可以变为指定的屏幕状态(例如，主屏幕输出状态)。
尽管已经描述在第二锁定状态下提供相对公开的提示且在其中完成用户认证的状态下提供相对私密的提示，但是本公开不限于此。例如，处理器150也可以在第二锁定状态下提供相对私密的提示且在其中完成用户认证的状态下提供相对公开的提示。根据一个实施方案，处理器150可以在其中完成用户认证的状态下提供相对私密的提示和相对公开的提示两者。
根据一个实施方案，如状态1609，如果完成用户认证，处理器150可以将与执行语音命令功能相关联的背景屏幕改变为指定的主屏幕。当在状态1609下提供提示时，处理器150可以提供相对私密的提示。处理器150可以在显示器120上输出根据解锁指定的功能执行区域1630(例如，主屏幕区域)和用于指示语音命令功能执行的区域1631。例如，可以在语音命令功能执行指示区域1631中显示包括相对私密的提示的信息。
根据一个实施方案，如状态1611，如果完成了用户认证，处理器150可以将与执行语音命令功能相关的背景屏幕变为主屏幕且当提供提示时，可以提供相对公开的提示。处理器150可以在显示器120上输出根据解锁指定的功能执行区域1630(例如，主屏幕区域)和用于指示语音命令功能执行的区域1632。例如，可以在语音命令功能执行指示区域1632中显示包括相对公开的提示的信息。
在上述操作中，在其中执行用户认证的情况下(例如，在输入口令或锁定模式的情况下)，如状态1609或1611，处理器150可以解除锁定状态且可以提供主屏幕作为与执行语音命令功能相关的背景屏幕。
根据各个实施方案，在基于背景处理的用户认证(例如，使用物理按钮1690的指纹认证、虹膜认证、声音印迹认证和脸部识别)的情况下，处理器150可以移除锁定屏幕且可以以背景中的主屏幕提供语音命令功能。因为设置模式锁定或口令锁定，处理器150可以在基于背景处理的用户认证失败或用户需要键入明确的认证信息的情况下保持锁定屏幕输出状态。
关于使用虹膜识别解除锁定状态和执行语音命令功能，处理器150可以从通过设置在电子设备的前侧的虹膜识别照相机收集的图像数据提取虹膜相关数据，且可以将提取的数据与存储在存储器140中的虹膜数据比较以执行用户认证。在该操作中，在用户按压与执行语音命令功能相关的物理按钮1690且发出语音的情况下，处理器150可以识别用户语音且可以同时确定发出语音的用户是否对应通过虹膜识别认证的用户。在完成用户语音之前通过虹膜识别完成用户认证的情况下，处理器150可以访问存储在存储器140中的全部信息且可以提供全部功能执行状态以提供对应于用户语音的服务。如果在完成用户语音之前未执行认证，处理器150可以提供在锁定状态下处理器150能够支持的部分功能执行状态(例如，其中提供有限服务的状态)，且可以输出在完成正常认证之后提供根据用户语音输入的全部功能执行状态的引导信息。
关于使用脸部识别解除锁定状态和执行语音命令功能，处理器150可以从通过设置在电子设备的前侧的RGB照相机获得的图像数据提取脸部的特征点，且可以将提取的特征点与预先存储的特征点比较。基于比较结果，处理器150可以确定当前获取的脸部信息是否与预先存储的脸部信息一致且可以根据确定结果执行用户认证。在用户按压与执行语音命令功能相关的物理按钮1690且发出语音的情况下，处理器150可以识别用户语音且可以同时确定发出语音的用户是否对应通过脸部识别认证的用户。在完成用户语音之前通过脸部识别完成用户认证的情况下，处理器150可以提供全部功能执行状态，且如果在完成用户语音之前未完成认证，处理器150可以在锁定状态下提供部分功能执行状态。在所述部分功能执行状态下，处理器150可以输出关于提供全部功能执行状态需要认证的信息。因为脸部识别是受包括黑暗场所的环境因素的影响很大的认证方法，因此可以将辅助认证方法包括在一起，为其中未有效执行脸部识别的情况而准备。例如，在在其中完成用户语音的情形下未完成通过脸部识别的认证的情况下，处理器150可以导入另一种认证方法(例如，指纹认证、声音印迹认证等)。
图17是示出了根据本公开一个实施方案的依赖于功能的类型的各个锁定屏幕处理算法所相关的屏幕界面的一个示例的图。
参考图17，电子设备的显示器120可以处于关闭状态，如状态1701。电子设备可以包括与执行语音命令功能相关的物理按钮1790。如果按压物理按钮1790，处理器150可以在锁定状态下将与执行语音命令功能相关的屏幕输出在显示器120上，如状态1703。
在执行语音命令功能之后，处理器150可以分析用户语音输入且可以执行功能，或者可以根据所分析的语音输入结果输出结果。在该操作中，在电子设备当前处于锁定状态且要执行的功能或要输出的结果需要全部功能执行状态的情况下，处理器150可以提供在当前状态下不能执行相应的功能或输出相应结果的信息，如状态1705。附加地或备选地，如状态1707，处理器150可以将用于认证的输入屏幕(例如，数值输入屏幕或模式锁定屏幕)输出在显示器120上。如果完成认证，处理器150可以解除锁定状态且根据用户语音输入可以执行功能，或者可以输出结果，如状态1708。响应于解除锁定状态，处理器150可以在显示器120上输出主屏幕。
根据各个实施方案，在锁定状态下需要解锁以执行根据用户语音输入的功能的情况下，处理器150可以在显示器120上输出用于指示功能需要解锁的弹出窗口，如状态1709。在选择当前弹出窗口或用于请求解锁的项目的输出之后经过指定的时间段的情况下，处理器150可以将用于指定的认证类型的屏幕(例如，数值输入屏幕或模式锁定屏幕)输出在显示器120上，如状态1711。
根据各个实施方案，如果在其中关闭显示器120的状态下按压与执行语音命令功能相关的物理按钮1790，处理器150可以自动地解除锁定状态，然后可以提供全部功能执行状态。
图18A是示出了根据本公开一个实施方案的依赖于显示器的关闭状态而输出各个功能执行结果的屏幕界面的一个示例的图。
参考图18A，响应在其中关闭显示器120的状态下电源按钮或主按钮的按压，电子设备的处理器150可以开启显示器120，如状态1801。之后，如果按压与执行语音命令功能相关联的物理按钮1890，处理器150可以在锁定状态下在显示器120上输出包括指示语音命令功能的区域的屏幕，如状态1803。根据各个实施方案，在锁定设置对应可通过指定的手势输入信号解除的锁定屏幕的情况下，当按压物理按钮1890时，处理器150可以解除锁定屏幕且可以在指定的屏幕(例如，主屏幕)上输出指示语音命令功能的区域，如状态1805。根据各个实施方案，当按压物理按钮1890同时关闭显示器120时，处理器150可以输出包括指示语音命令功能的区域且通过手势输入信号解除的锁定屏幕，如状态1803，或者可以解除锁定屏幕且可以以背景中的指定屏幕输出指示语音命令功能的区域，如状态1805。
图18B是示出了根据本公开一个实施方案的依赖于显示器的开启状态而输出各个功能执行结果的屏幕界面的一个示例的图。
参考图18B，如果如状态1807按压与执行语音命令功能相关的物理按钮1890同时开启显示器120，电子设备的处理器150可以在显示器120上输出包括指示语音命令功能的区域的屏幕，同时保持锁定状态，如状态1809。根据一个实施方案，如状态1811，处理器150可以解锁锁定屏幕且可以在指定的屏幕(例如，主屏幕)上输出指示语音命令功能的区域。
根据本公开的一个示例实施方案，提供了一种电子设备。电子设备可以包括壳体，所述壳体包括第一表面、与所述第一表面相对的第二表面和侧表面；触摸屏显示器，所述触摸屏显示器暴露于所述第一表面之外；无线通信电路，所述无线通信电路被设置在所述壳体内部；输入按钮，所述输入按钮暴露于所述侧表面中的一个或所述第一表面之外；麦克风，所述麦克风暴露于所述壳体之外；处理器，所述处理器被设置在所述壳体内部并且与所述无线通信电路。所述输入按钮。所述麦克风和所述触摸屏显示器电连接；和存储器，所述存储器被设置在所述壳体内部并且与所述处理器电连接，且包括具有第一用户界面的用户交互式应用，其中所述存储器存储至少一个指令，所述至少一个指令在被所述处理器执行时使得所述处理器：在所述触摸屏显示器上显示锁定屏幕时，保持电子设备的锁定状态；在所述锁定状态下通过生物计量传感器接收用户认证信息；当在所述触摸屏显示器上输出锁定屏幕时，将所述装置状态改变为解锁状态；响应通过所述输入按钮或所述麦克风接收的第一用户输入而执行所述用户交互式应用；当所述电子设备被解锁时，在接收所述第一输入之后通过所述触摸屏显示器或所述麦克风接收用户请求；通过所述无线通信电路将与所述用户请求相关的第一数据传输至服务器；通过所述无线通信电路从所述服务器接收与至少一个指令相关的第二数据；以及基于所述第二数据的至少一部分执行动作；并且其中所述动作包括以下各项中的至少一个：在所述电子设备的所述锁定状态下执行的第一类型功能；在其中使用所述第一用户界面解除锁定设置且显示所述锁定屏幕的状态下执行的第二类型功能；被设定为指示使用所述第一用户界面且需要执行另一个应用程序的第三类型功能；和被设定为改变主屏幕且自动执行另一个应用程序的第四类型功能。
根据本公开的一个示例实施方案，提供一种电子设备。电子设备可以包括：显示器；存储器，所述存储器被配置成存储要在所述显示器上输出的至少一个信息；输入装置，所述输入装置包括输入电路，所述输入电路被配置成基于从用户接收的语音输入接收用于执行指定的语音命令功能的执行信号的输入；和处理器，所述处理器与所述显示器，所述输入装置，和所述存储器电连接；其中所述处理器被配置成：当接收与执行所述语音命令功能相关的所述执行信号和所述用户语音输入时，确认所述电子设备的锁定状态的信息(或获取指示其的信息)；和基于与执行对应于所述用户语音输入的功能或输出对应于所述用户语音输入的结果相关的锁定状态，提供以下各项中的任何一个：其中允许对存储在所述存储器中的全部信息进行访问的全部功能执行状态；以及其中允许对存储在所述存储器中的部分信息进行访问的部分功能执行状态。
根据本公开的各个示例实施方案，处理器可以被配置成在显示器处于解锁状态或无锁定设置的情况下，基于所述全部功能执行状态输出对应于用户语音输入的结果。
根据本公开的各个示例实施方案，处理器可以被配置成如果所述显示器处于可通过手势输入信号解除的锁定状态，则基于所述全部功能执行状态输出对应于所述用户语音输入的结果。
根据本公开的各个示例实施方案，所述处理器可以被配置成响应接收所述执行信号而解除所述锁定状态，并且被配置成如果所述显示器处于可通过手势输入信号解除的锁定状态，则基于所述全部功能执行状态输出对应于所述用户语音输入的结果。
根据本公开的各个示例实施方案，处理器可以被配置成如果所述显示器处于锁定状态则缓冲对应于所述用户语音输入的结果的至少一部分，并且被配置成如果解除所述锁定状态，则将缓冲的结果输出。
根据本公开的各个示例实施方案，处理器可以被配置成如果所述显示器处于锁定状态，则基于所述部分功能执行状态输出对应于所述语音输入的结果。
根据本公开的各个示例实施方案，所述处理器被配置成如果所述部分功能执行状态下完成指定的用户认证，则基于所述全部功能执行状态再次输出对应于所述用户语音输入的结果。
根据本公开的各个示例实施方案，处理器可以被配置成确定是否必须基于所述全部功能执行状态执行对应于用户语音输入的结果，且被配置成在显示器处于锁定状态下且必须基于所述全部功能执行状态执行对应于用户语音输入的结果的情况下，输出请求用户认证的引导信息。
根据本公开的各个示例实施方案，处理器可以被配置成自动执行用户认证，并且被配置成如果所述显示器处于锁定状态，则基于所述用户认证的结果提供所述部分功能执行状态和所述全部功能执行状态中的任何一个。
根据本公开的各个示例实施方案，输入装置(或输入设备)可以包括与执行信号的输入相关的物理按钮和设置在物理按钮内部或设置在物理按钮邻近区域的指纹传感器，且其中所述处理器被配置成基于在输入执行信号时自动检测的指纹信息执行指纹认证，且当完成指纹认证时，基于所述全部功能执行状态输出对应于用户语音输入的结果。
根据本公开的各个示例实施方案，电子设备还可以包括被配置成识别用户的虹膜或脸部的传感器，其中所述处理器被配置成在输入执行信号时自动识别用户的虹膜或脸部而执行用户认证，且当完成用户认证时，基于所述全部功能执行状态输出对应于用户语音输入的结果。
根据本公开的各个示例实施方案，处理器可以被配置成如果显示器处于锁定状态，则响应语音命令功能的执行而输出相对公开的提示。
根据本公开的各个示例实施方案，处理器可以被配置成如果显示器处于解锁状态或没有锁定设置，则响应语音命令功能的执行而输出相对私密的提示。
根据本公开的各个示例实施方案，处理器可以被配置成如果显示器处于锁定状态，则输出用于指示语音命令功能的部分功能执行状态的信息，同时保持锁定屏幕的至少一部分。
根据本公开的各个示例实施方案，处理器可以被配置成解除锁定设置，并且被配置成在当显示器被锁定时完成指定的用户认证的条件下输出用于指示语音命令功能的全部功能执行状态的信息。
图19是示出了根据本公开各个实施方案的处于网络环境的电子设备的框图。
参考图19，根据各个实施方案，将描述处于网络环境1900的电子设备1901。电子设备1901可以包括总线1910、处理器(例如，包括处理电路的处理器)1920、存储器1930、输入/输出接口(例如，包括输入/输出电路的输入/输出接口)1950、显示器1960和通信接口(例如，包括通信电路的通信接口)1970。
参考图19，在各个实施方案中，电子设备1901和第一外部电子设备1902、第二外部电子设备1904或服务器1906可以通过网络1962或局域通信1964彼此连接。电子设备1901可以包括总线1910、处理器1920、存储器1930、输入和输出接口1950、显示器1960和通信接口1970。在各个实施方案中，可以从电子设备1901中省略所述部件的至少一个，或者可以在电子设备1901中另外包括其他部件。
例如，总线1910可以是将部件1920-1970彼此连接并且在所述部件之间传输通信信号(例如，控制消息和/或数据)的电路。
处理器1920可以包括各个处理电路，例如而非限制性地，专用处理器、中央处理器(CPU)、应用处理器(AP)或通信处理器(CP)等中的一个或多个。例如，处理器1920可以执行关于电子设备1901的至少另一个部件的控制和/或通信的计算或数据处理。
存储器1930可以包括易失性和/或非易失性存储器。存储器1930可以存储例如与电子设备1901的至少另一个部件相关的指令或数据。根据一个实施方案，存储器1930可以存储和/或程序1940。程序1940可以包括例如内核(kernel)1941、中间件1943、应用程序编程接口(API)1945，和/或至少一个应用程序1947(或“至少一个应用程序”)等。内核1941、中间件1943或API 1945的至少一部分可以被称为操作系统(OS)。
内核1941可以控制或管理例如用于执行在其它程序(例如，中间件1943、API 1945或应用程序1947)中执行的操作或功能的系统资源(例如，总线1910、处理器1920或存储器1930，等)。此外，当中间件1943、API 1945或应用程序1947访问电子设备1901的单独部件时，内核1941可以提供可以控制或管理系统资源的界面。
中间件1943可以起着例如中介的作用使得API 1945或应用程序1947与内核1941通信以传输数据。
此外，中间件1943可以以优先的顺序处理从应用程序1947接收的一个以上的工作请求。例如，中间件1943可以向至少一个应用1947中的至少一个分派可以利用电子设备1901的系统资源(总线1910、处理器1920或存储器1930等)的优先。例如，中间件1943可以通过以向至少一个应用程序1947中的至少一个分派的优先顺序处理一个以上的工作请求而执行用于一个以上的工作请求的时序安排或加载平衡。
API 1945可以是例如其中应用程序1947控制从内核1941或中间件1943提供的功能的界面。例如，API 1945可以包括用于文件控制、窗口控制、图像处理或文本控制等的至少一个界面或功能(例如，指令)。
输入/输出接口1950可以包括各种输入/输出电路并且起着例如可以将从用户或另外的外部装置输入的指令或数据传输至电子设备1901的另一个部件(或其它部件)的接口的作用。此外，输入和输出接口1950可以将从电子设备1901的另一个部件(或其它部件)输入的指令或数据输出至用户或另外的外部装置。
显示器1960可以包括例如，液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微电机系统(MEMS)显示器或电子纸显示器等。显示器1960可以向用户显示例如各种内容(例如，文本、图像、视频、图标或符号等)。显示器1960可以包括触摸屏，且可以接收例如，利用电子笔或用户身体的一部分进行的接触、手势、接近或悬停输入。
通信接口1970可以在例如，电子设备1901和外部装置(例如，第一外部电子设备1902、第二外部电子设备1904或服务器1906)之间建立通信。例如，通信接口1970可以通过无线通信或有线通信与网络1962连接且可以与外部装置(例如，第二外部电子设备1904或服务器1906)通信。无线通信可以利用例如，长期演进(LTE)、LTE演进(LTE-advanced)(LTE-A)、码分多址接入(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)等的至少一种作为蜂窝通信协议。此外，无线通信可以包括例如局域网通信1964。局域网通信1964可以包括例如无线保真(Wi-Fi)通信、蓝牙(BT)通信、近场通信(NFC)或全球导航卫星系统(GNSS)通信等中的至少一种。
MST模块可以利用电磁信号基于传输数据产生脉冲且可以基于脉冲产生磁场信号。电子设备1901可以输出磁场信号至售卖点(POS)系统。POS系统可以通过使用MST读取器检测磁场信号且将所检测的磁场信号转换为电信号来恢复数据。
根据可用区域或带宽，GNSS可以包括例如，全球定位系统(GPS)、全球导航卫星系统、北斗导航卫星系统(在下文中称为“Beidou”)，或Galileo(即，基于欧洲全球卫星的导航系统)等中的至少一种。在下文中，本文所用的“GPS“可以与“GNSS”相互交换使用。有线通信可以包括例如通用串行总线(USB)通信、高清晰度多媒体接口(HDMI)通信、推荐标准232(RS-232)通信或普通传统电话业务(POTS)通信等中的至少一种。网络1962可以包括电信网，例如，计算机网络(例如，局域网(LAN)或广域网(WAN))、因特网或电话网络中的至少一种。
第一和第二外部电子设备1902和1904中的每一个可以与电子设备1901相同或不同。根据一个实施方案，服务器1906可以包括一个以上服务器的集群。根据各个实施方案，在电子设备1901中执行的全部或一些操作可以在另一个电子设备或多个电子设备(例如，第一外部电子设备1902、第二外部电子设备1904或服务器1906)中执行。根据一个实施方案，如果电子设备1901应当自动地或根据请求执行任何功能或服务，其可以请求另一个装置(例如，第一外部电子设备1902、第二外部电子设备1904或服务器106)执行功能或服务的至少一部分，而非执行功能或服务自身或者除该功能或服务之外。其它电子设备(例如，第一外部电子设备1902、第二外部电子设备1904或服务器1906)可以执行请求的功能或增加的功能且可以将所执行的结果传输给电子设备1901。电子设备1901可以处理所接收的结果，而没有改变或额外且可以提供所请求的功能或服务。为此目的，可以使用例如，云计算技术、分布式计算技术或客户-服务器计算技术。
上述电子设备1901可以通过网络与另外的电子设备或服务器1906连接，且可以接收来自其他的电子设备或服务器1906的内容。
图20是示出了根据本公开各个实施方案的电子设备的示例构造的框图。
参考图20，电子设备2001可以包括在图19中所示例的电子设备1901的全部或一部分。电子设备2001可以包括一个以上处理器(例如，应用程序处理器(AP))(例如，包括处理电路)2010、通信模块(例如，包括通信电路的通信模块)2020、订户标识模块2029、存储器2030、安全模块2036、传感器模块2040、输入装置(例如，包括输入电路的输入装置)2050、显示器2060、接口(例如，包括接口电路的接口)2070、音频模块2080、照相机模块2091、电源管理模块2095、电池2096、指示器2097和电机2098。
处理器2010可以包括各种处理电路和驱动器，例如，操作系统(OS)或应用程序以控制与其连接的多个硬件或软件部件并且可以处理和计算各种数据。处理器2010可以用例如芯片系统(SoC)实现。根据一个实施方案，处理器2010可以包括图形处理器(GPU)(未显示)和/或图像信号处理器(未显示)。处理器2010可以包括在图20中显示的部件的至少一些(例如，蜂窝模块2021)。处理器2010可以将从其他部件的至少一个(例如，非易失性存储器)接收的指令或数据上传至易失性存储器以处理数据且可以将各种数据存储在非易失性存储器中。
通信模块2020可以具有与图19的通信接口1970相同或类似的构造。通信模块2020可以包括各种通信电路例如而非限制性地，蜂窝模块2021，无线保真(Wi-Fi)模块2022、蓝牙(BT)模块2023、全球导航卫星系统(GNSS)模块2024(例如，GPS模块，Glonass模块，Beidou模块，或Galileo模块)、近场通信(NFC)模块2025、MST模块2026和射频(RF)模块2027。
蜂窝模块2021可以通过通信网络提供例如声音呼叫服务、视频呼叫服务、文本消息服务或因特网服务等。根据一个实施方案，蜂窝模块2021可以使用SIM 2029(例如，SIM卡)识别和认证通信网络中的电子设备2001。根据一个实施方案，蜂窝模块2021可以执行可以由处理器2010提供的功能至少一部分。根据一个实施方案，蜂窝模块2021可以包括通信处理器(CP)。
例如，Wi-Fi模块2022、BT模块2023、GNSS模块2024、NFC模块2025或MST模块2026可以包括用于处理通过相应模块传输和接收的数据的处理器。根据各个实施方案，可以在一个集成芯片(IC)或一个IC组件中包括蜂窝模块2021、Wi-Fi模块2022、BT模块2023、GNSS模块2024、NFC模块2025或MST模块2026中的至少一些(例如，两种以上)。
RF模块2027可以传输和接收例如，通信信号(例如，RF信号)。尽管未显示，例如RF模块2027可以包括收发器、功率放大器模块(PAM)、频率滤波器、或低噪音放大器(LNA)、或天线等。根据另一个实施方案，蜂窝模块2021、Wi-Fi模块2022、BT模块2023、GNSS模块2024、NFC模块2025或MST模块2026中的至少一种可以通过单独的RF模块传输和接收RF信号。
SIM 2029可以包括例如，包括SIM和/或嵌入式SIM的卡。SIM 2029可以包括唯一标识信息(例如，集成电路卡标识符(ICCID))或订户信息(例如，国际移动订户身份(IMSI))。
存储器2030(例如，图19的存储器1930)可以包括，例如，嵌入式存储器2032和/或外部存储器2034。嵌入式存储器2032可以包括例如，易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)或非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、可电擦和可编程ROM(EEPROM)、掩蔽型ROM、快速擦写只读编程器(flash ROM)、闪存(例如，NAND闪存或NOR闪存等)、硬盘驱动器或固态驱动器(SSD))中的至少一种。
外部存储器2034可以包括闪存驱动器，例如，紧凑型闪存(CF)、安全数码卡(SD)、微型-SD、迷你型-SD、极限数码卡(xD)、多媒体卡(MMC)或记忆棒，等。外部存储器2034可以通过各个接口与电子设备2001操作和/或物理连接。
安全模块2036可以是具有比存储器2030较高安全等级的模块且可以是存储安全数据和确保所保护的执行环境的电路。安全模块2036可以用单独的电路实现且可以包括单独的处理器。安全模块2036可以包括，例如，存在于可移除智能芯片或可移除SD卡中或嵌入电子设备2001的固定芯片中的嵌入式安全元件(eSE)。此外，安全模块2036可以通过与电子设备2001的OS不同的OS驱动。例如，安全模块2036可以基于Java卡开放平台(JCOP)OS运行。
传感器模块2040可以测量例如，物理量或可以检测电子设备2001的运行状态，且可以将所测量的或检测的信息转换为电信号。传感器模块2040可以包括例如，手势传感器2040A、陀螺仪传感器2040B、气压传感器2040C、磁传感器2040D、加速传感器2040E、握持(grip)传感器2040F、接近度传感器2040G、颜色传感器2040H(例如，红色、绿色、蓝色(RGB)传感器)、生物计量传感器2040I、温度/湿度传感器2040J、照明传感器2040K或紫外线(UV)传感器2040M中的至少一种。附加地或备选地，传感器模块2040还可以包括例如，e-噪音传感器(未显示)、肌电图(EMG)传感器(未显示)、脑电波图(EEG)传感器(未显示)、心电图(ECG)传感器(未显示)、红外线(IR)传感器(未显示)、虹膜传感器(未显示)和/或指纹传感器(未显示)等。传感器模块2040还可以包括用于控制其中包括至少一个以上的传感器的控制电路。根据各个实施方案，电子设备2001还可以包括被配置成控制传感器模块2040的处理器作为处理器2010的一部分或独立于处理器2010。尽管处理器2010处于睡眠状态，但是电子设备2001可以控制传感器模块2040。
输入装置2050可以包括各种输入电路，例如而非限制性地，接触面板2052、(数字)笔传感器2054、按键2056或超声波输入装置2058等。接触面板2052可以使用电容型、电阻型、红外线型或超声波类型中的至少一种。此外，接触面板2052还可以包括控制电路。接触面板2052还可以包括感触层且可以向用户提供感触反应。
(数字)笔传感器2054可以是例如接触面板2052的一部分，或者可以包括单独的用于识别的板。键2056可以包括例如物理按钮、光学键或键区。超声波输入装置2058可以允许电子设备2001利用麦克风(例如，麦克风2088)检测声波且通过产生超声波信号的输入工具确认数据。
显示器2060(例如，图19的显示器1960)可以包括面板2062、全息照相装置2064或投影仪2066。面板2062可以包括与显示器160或1960相同或类似的构造。面板2062可以实现为例如柔性的、透明的或可穿戴的。面板2062和接触面板2052可以被集成到一个模块中。全息照相装置2064可以利用光的干涉显示空间内的立体图像。投影机2066可以将光投射到屏幕上以显示图像。屏幕可以位于例如电子设备2001内部或外部。根据一个实施方案，显示器2060还可以包括用于控制面板2062，、全息照相装置2064或投影机2066的控制电路。
接口2070可以包括各种接口电路，例如而非限制性地，高清晰度多媒体接口(HDMI)2072、通用串行总线(USB)2074、光学接口2076、或D-sub2078，等。接口2070可以包括在例如图2或19中所示的通信接口170或1970内。附加地或备选地，接口2070可以包括例如，移动高清晰度连接(MHL)接口、SD卡/多媒体卡(MMC)接口或红外线数据协会(IrDA)标准接口。
音频模块2080可以双向转换声电信号。音频模块2080的部件的至少一部分可以包括在图19中所示的例如输入和输出接口1950(或用户接口)内。音频模块2080可以处理通过例如扬声器2082、接收器2084、耳机2086或麦克风2088等输入或输出的声音信息。
照相机模块2091可以是拍摄静态图像和移动图像的装置。根据一个实施方案，照相机模块2091可以包括一个以上的图像传感器(未显示)(例如，前传感器或后传感器)、镜头(未显示)、图像信号处理器(ISP)(未显示)或闪光灯(未显示)(例如，LED或氙灯)。
电源管理模块2095可以管理例如电子设备2001的电源。根据一个实施方案，尽管未显示，电源管理模块2095可以包括电源管理集成电路(PMIC)、充电器IC或电池或燃料量表。PMIC可以具有有线充电方法和/或无线充电方法。无线充电方法可以包括例如，磁共振方法、磁感应方法或电磁方法等。还可以提供另外的用于无线充电的电路，例如，线圈回路、共振电路或整流器等。在将电池2096充电时，电池量表可以测量例如，电池2096的其余电容及其电压、电流或温度。电池2096可以包括例如，可充电电池或太阳能电池。
指示器2097可以显示电子设备2001或其一部分(例如，处理器2010)的具体状态，例如，启动(booting)状态、消息收发状态或充电状态等。电机2098可以将电信号转换为机械振动且可以产生振动或触觉效果等。尽管未显示，电子设备2001可以包括用于支持移动TV的处理器(例如，GPU)。用于支持移动TV的处理器可以根据标准例如，数字多媒体广播(DMB)标准、数字视频广播(DVB)标准或媒体FloTM标准等处理媒体数据。
根据本公开的各个实施方案的电子设备的上述元件的每一个可以被配置成具有个以上部件且相应的元件的名字可以根据电子设备的类型改变。根据本公开的各个实施方案的电子设备可以包括上述元件中的至少一种，一些可以从电子设备中省略，或者其它的另外的元件可以被进一步包括在电子设备中。此外，根据本公开的各个实施方案的电子设备的元件的一些可以彼此组合以形成一个整体，从而使得可以以与组合之前相同的方式执行相应元件的功能。
图21是示出了根据各个实施方案的电子设备的操作方法的一个示例的流程图。
参考图21，关于电子设备的操作方法，处理器150可以在操作2101中保持锁定状态。锁定状态可以包括例如锁定设置状态。在操作2103中，处理器150可以基于生物计量传感器执行用户认证，同时保持锁定状态。在操作2105中，处理器150可以在将锁定屏幕输出在显示器120上时将锁定状态改变为解锁状态。
在操作2107中，处理器150可以响应第一用户输入信号执行用户交互式应用程序。第一用户输入信号可以包括例如，对应于按压与执行语音命令功能相关的输入按钮的操作的用户输入信号。在操作2109中，处理器150可以在解锁状态下接收第一用户输入之后，接收基于显示器/麦克风的用户请求。关于语音命令功能的执行，用户请求可以包括用户发出的语句或者触摸显示器120以发出在其中输出锁定屏幕的状态下执行特定的功能的请求的操作。
在操作2111中，处理器150可以向服务器传输与用户请求相关的第一数据。在操作2113中，处理器150可以接收来自服务器的对应于第一数据的第二数据。在操作2115中，处理器150可以基于至少一部分第二数据执行功能。例如，处理器150可以执行以下功能中的至少一种：在电子设备的锁定状态下执行的第一类型功能、使用第一用户界面解锁且在其中显示锁定屏幕的状态下执行的第二类型功能、被设置为指示使用第一用户界面且请求执行另一个应用的第三类型功能、和被设置为改变主屏幕且自动执行另一个应用的第四类型功能。
图22是示出了根据本公开一个实施方案的集成智能系统的一个示例的框图。
参考图22，智能服务器2201可以包括自动速度识别(ASR)模块(例如，包括各个处理电路和/或程序元件的自动速度识别(ASR)模块)2210、自然语言理解(NLU)模块(例如，包括各个处理电路和/或程序元件的自然语言理解(NLU)模块)2220和路径策划模块(例如，包括各个处理电路和/或程序元件的路径策划模块)2230。智能服务器2201可以包括上面关于图1至2B所述的智能服务器200的至少一部分。
智能服务器2201的自动话音识别模块2210、自然语言理解模块2220、和路径策划模块2230可以生成路径规则。根据一个实施方案，自动话音识别(ASR)模块2210可以将从用户设备2202接收的用户输入转换为文本数据。根据一个实施方案，自动话音识别模块2210可以从用户设备2202接收与执行语音命令功能相关的声音信号和与语音解锁功能相关的声音信号(或用于语音解锁的话音信息)中的至少一种，且可以对所接收的声音信号执行话音识别。例如，自动话音识别模块2210可以将用于语音解锁的话音信息转换为文本且可以将转换的文本传输给用户设备2202(例如，与语音解锁功能相关的用户设备2202的客户程序)。
根据各个实施方案，自动话音识别模块2210可以至少临时地存储从接收用户设备2202的用于语音解锁的话音信息。如果接收来自用户设备2202的用于语音解锁的话音信息，自动话音识别模块2210可以执行文本转换且可以执行认证以确定转换的文本是否与预先设定的认证信息(例如，用于认证的文本)相同。自动话音识别模块2210可以向用户设备2202提供认证结果。可以通过与用户设备2202协作升级自动话音识别模块2210中存储和管理的认证信息(例如，预先登记用于语音解锁的认证话音信息或对应于预先登记用于语音解锁的话音信息的认证文本)。
关于上述操作，自动话音识别模块2210可以处理上面关于图2B所述的话音识别模块的功能。关于声学模型和语言模型的信息可以被存储在例如自动话音识别数据库中。认证信息(例如，从用户设备2202接收的认证话音信息或与其对应的认证文本)可以被存储在自动话音识别数据库(例如，图2B的211)中。用于语音解锁的话音信息和认证话音信息可以以音频的形式被存储。如上所述，智能服务器2201还可以包括扬声器识别模块。
根据一个实施方案，与上面关于图2B所述的自然语言理解模块220类似地，自然语言理解模块2220可以通过执行语法分析和语义分析辨别用户意图。根据一个实施方案，与上面关于图2B所述的路径策划模块230类似，路径策划模块2230可以利用由自然语言理解模块2220辨别的用户意图生成路径规则。可以将所生成的路径规则传输给用户设备2202。
关于应用于语音命令功能的语音解锁功能，用户设备2202可以包括显示器、输入装置(例如，麦克风)和处理器，且可以收集话音信息且输出语音命令功能的至少一些结果，这依赖于是否执行语音解锁。
图23是示出了根据本公开一个实施方案的与集成智能服务操作相关的用户设备的操作方法的一个示例的流程图。
参考图23，在操作2301中，用户设备2202可以接收执行语音命令功能(例如，Bixby功能)的请求。在这方面，用户设备2202可以通过至少一个麦克风收集与执行语音命令功能相关的声音信号(例如，唤醒信号+与语音命令相关的话音信息)。备选地，如果在其中开启至少一个麦克风的睡眠状态下收集唤醒声音信号，用户设备2202可以激活多个麦克风，然后可以收集指定的时间段期间的声音信号作为与语音命令功能相关的话音信息。通过用户设备2202收集的声音信号可以被传输给上述自动话音识别模块2210，且自动话音识别模块2210可以对所收集的声音信号执行文本转换。转换的文本可以被自然语言理解模块2220使用以提取与执行用户设备2202的功能相关的意图，且所提取的意图可以被路径策划模块2230使用以生成路径规则。路径策划模块2230可以将所生成的路径规则传输给用户设备2202。
如果从智能服务器2201接收路径规则，用户设备2202在操作2303中可以确定用户设备2202是否处于锁定状态。在用户设备2202处于解锁状态或没有锁定设置的情况下，用户设备2202在操作2305中可以基于所收集的与语音命令功能相关的话音信息执行上述语音命令功能。
在操作2303中确定显示有锁定设置的结果的情况下，用户设备2202在操作2307中可以请求用于语音解锁的话音信息。例如，用户设备2202可以在显示器上输出指定的显示信息(例如，用于发出执行用于语音解锁的语音的请求的文本或图像)。备选地，用户设备2202可以通过扬声器输出指定的音频信息(例如用于发出执行用于语音解锁的语音的请求的音频信号)。在该操作中，用户设备2202可以利用存储在存储器中且与语音解锁请求相关的显示信息或音频信息。备选地，用户设备2202可以请求与来自智能服务器2201(例如，NLG模块)的语音解锁请求相关的显示信息或音频信息，且如果接收与来自智能服务器2201的语音解锁请求相关的显示信息或音频信息，用户设备2202可以输出所接收的显示信息和所接收的音频信息中的至少一种。用户可以根据语音解锁请求发出指定的语音。
在操作2309中，用户设备2202可以收集用于语音解锁的话音信息。在这方面，用户设备2202可以激活至少一个麦克风，或者可以保持至少一个麦克风处于激活状态，且可以收集指定的时间段期间或者直至检测到(例如，与语音相关的端点检测(EPD))指定事件的用于语音解锁的话音信息。
在操作2311中，用户设备2202可以对所收集的用于语音解锁的话音信息执行认证。在该操作中，用户设备2202可以向智能服务器2201(例如，自动话音识别模块2210)提供所收集的用于语音解锁的话音信息，且可以接收来自智能服务器2201的对应于用于语音解锁的话音信息的文本。用户设备2202可以将所接收的文本与预先存储的认证信息(例如，存储用于语音解锁的认证文本)比较，且可以确定认证的成功或失败，这依赖于所接收的文本是否与预先存储的认证信息一致。根据各个实施方案，用户设备2202可以对所收集的用于语音解锁的话音信息本身执行话音识别，可以将话音信息转换为文本，且可以将所转换的文本与预先存储的认证文本比较以确定认证的成功或失败。备选地，用户设备2202可以将所收集的用于语音解锁的话音信息与预先存储的声音信号比较，且可以根据比较结果(例如，特征点的匹配、声音信号的特定模式的匹配、声音信号的频率分析的匹配等)确定认证的成功或失败。
在正常处理所收集的用于语音解锁的话音信息的情况下，用户设备2202可以继续操作2305以执行语音命令功能。例如，在认证成功的情况下，用户设备2202可以执行从智能服务器2201接收的与语音命令功能相关的路径规则。
在不正常处理所收集的用于语音解锁的话音信息的情况下，用户设备2202在操作2313中可以确定是否满足指定的条件。例如，用户设备2202可以确定用于语音解锁的话音信息的认证程序是否已经失败指定的次数。备选地，用户设备2202可以确定在其中认证不成功的状态下开始收集用于语音解锁的话音信息之后是否已经经过指定的时间段。在另一个示例中，用户设备2202可以确定是否与用于语音解锁的话音信息的处理相关已经接收终止请求信号。
在满足指定条件的情况下，用户设备2202在操作2315中可以执行安全信息。例如，用户设备2202可以执行锁定设置使得其在指定时间段期间不被使用。在该操作中，用户设备2202可以保持睡眠状态(其中关闭显示器的状态)。在另一个实施方案中，用户设备2202可以向指定的电子设备传输解除锁定状态的尝试已经失败的消息。备选地，用户设备2202可以输出音量大于指定量的音频信号(例如，警告声音、警报声音等)。在另一个示例中，用户设备2202可以改变为睡眠状态或锁定状态(例如，其中在屏幕上输出预先设置的模式锁定的状态)。
图24是示出了根据本公开一个实施方案的与应用于语音命令功能的语音解锁功能操作相关的屏幕界面的一个示例的图。
参考图24，根据一个实施方案，如状态2401，用户设备2202可以在显示器上输出包括语音解锁功能设置项目2410的菜单。如果选择语音解锁功能设置项目2410，如状态2403，用户设备2202可以确定锁定设置是否可用(可用的安全锁定，在下文中，称为正常的安全功能设置)。例如，用户设备2202可以确定模式锁定(例如，通过指定的模式输入的解锁设置)、数字锁定(例如，在输入指定的数字的情况下移除的锁定设置)或者口令锁定(例如，在输入指定字母的情况下移除的锁定设置)是否可用。
如果正常的安全功能可用，如状态2405，用户设备2202可以执行屏幕锁定处理过程。例如，用户设备2202可以提供与模式锁定、数字锁定或口令锁定相关的锁定功能(例如，输出模式锁定屏幕、数字锁定屏幕或口令锁定屏幕的功能)且可以根据用户输入信号执行解锁。在该操作中，用户可以确认之前登记的模式、数字或口令设置，或者可以设置新的模式、数字或口令。
如果确定正常的安全功能可用，如状态2407，用户设备2202可以确定是否已经设置或登记用于语音解锁的认证信息(例如，与用于语音解锁的话音信息比较的认证信息)。在已经设置用于语音解锁的认证信息的情况下，如状态2409，用户设备2202可以开启语音解锁功能(例如，在执行语音命令功能的过程中使用指定声音或对应于指定文本的声音执行解锁的功能)。在没有设置用于语音解锁的认证信息的情况下，如状态2411，用户设备2202可以输出与应用于语音命令功能操作的语音解锁认证相关的屏幕。用户设备2202可以在与语音解锁认证相关的屏幕上输出在语音命令功能操作中可通过声音解除锁定设置的信息。如果选择在状态2411下在屏幕上的继续项目，用户设备2202可以输出至少一个与用于语音解锁的认证信息的登记过程相关的屏幕界面。
如果确定正常的安全功能不可用，如状态2413，用户设备2202可以确定是否已经设置用于语音解锁的认证信息，且在已经设置用于语音解锁的认证信息的情况下，如状态2415，用户设备2202可以关闭语音解锁功能(例如，使用与执行语音命令功能相关的声音执行解锁的功能)。在未设置(或登记)用于语音解锁的认证信息的情况下，如状态2417，用户设备2202可以输出与语音命令功能操作相关的语音解锁功能的设置屏幕。如果选择在状态2417下在屏幕上的继续项，用户设备2202可以输出与设置正常安全功能(例如，模式锁定、数字锁定、口令锁定等)的过程和登记用于语音解锁的认证信息的过程中的至少一种相关的屏幕界面。
图25是示出了根据本公开一个实施方案的用于对应用于语音命令功能的语音解锁设置认证信息的方法的一个示例的图。
参考图25，关于应用于语音命令功能的语音解锁功能，如果被请求设置用于语音解锁的认证信息，如状态2501，用户设备2202可以在显示器上输出与认证信息相关的语音设置屏幕。语音设置屏幕可以包括，例如，用于设置语音的开始的开始按钮项2510。
如果选择开始按钮项2510，如状态2503，用户设备2202可以输出显示信息和音频信息中的至少一种以指示用户发出语音。在该操作中，用户设备2202可以使用至少一个麦克风收集用户发出的话音信息。用户设备2202可以显示第一指示项2520以通知用户话音信息正在被收集。在用户发出语音的情况下，如状态2505，用户设备2202可以使用麦克风收集话音信息且可以在显示器上输出对应于所收集的话音信息的文本。当输出对应于所收集的话音信息的文本时，用户设备2202可以显示第二指示项2530以通知用户用户设备2202继续收集话音信息。关于文本输出，用户设备2202可以向智能服务器2201传输用户发出的话音信息且可以接收来自智能服务器2201的对应于话音信息的文本信息。备选地，用户设备2202可以基于本地话音识别功能将话音信息转换为文本且可以在显示器上输出所转换的文本。
如果已经经过了指定的时间段或者发生了指定的事件，如状态2507，用户设备2202可以执行确认认证信息的操作。确认认证信息的操作可以包括确认对应于用户发出的声音信号的文本是否对应用户意图的操作。指定的事件可以包括例如，获得端点检测(EPD)、获得指定的硬件按钮(例如，与执行语音命令功能相关的按钮、主按钮、电源按钮、音量按钮等)的按压状态(例如，短时间按压、长时间按压、单击或双击)、在触摸屏上收集指定的接触事件(例如，在指定的时间段内的指定接触次数、多个点接触、捏拉放大、捏拉缩小等)和使用触控笔获得指定模式的输入信号。
根据各个实施方案，如状态2509，用户设备2202可以输出话音设置待机屏幕。语音设置待机屏幕可以包括例如待机指示项2540。如果选择待机指示项2540，用户设备2202可以键入状态2503以收集用户话音信息。在其中收集用户话音信息的状态下和在其中未经过指定的时间段或未获得EPD的状态下按压第一指示项2520或第二指示项2530的情况下，如状态2509，用户设备2202可以输出话音设置待机屏幕。在话音设置待机屏幕状态下，用户设备2202可以停止收集单独的话音信息且可以输出与语音解锁功能相关的信息。信息可以包括例如在文本转换值相同的情况下，通知用户应用于语音命令功能的语音解锁功能执行解锁，而无需确认唯一的话音模式。上述信息也可以包括根据语音解锁功能的特征的变化确认话音的唯一模式的内容。
图26是示出了根据本公开一个实施方案的与应用于语音命令功能的语音解锁功能中的认证信息身份证明相关的屏幕界面的一个示例的图。
参考图26，如状态2601，用户设备2202可以在显示器上输出转换为与所收集的话音信息的文本对应的信息。用户可以识别显示在显示器上的文本信息以确认文本信息是否与用户发出的话音相同。在文本信息不同于用户想要发出的话音或者用户想要键入不同的话音信息的情况下，用户可以请求之前的屏幕(例如，可以通过选择重试按钮项请求之前的屏幕)。当请求之前的屏幕时，如状态2601，用户设备2202可以继续与语音解锁功能相关的用于语音解锁的认证信息的初始设置过程(例如，可以移动至输出用于语音解锁的认证信息的初始设置屏幕的状态)。在此，状态2610可以对应于上面已经关于图25所述的用于语音解锁的认证信息的初始设置过程的状态2501。
在文本信息与用户想要发出的话音相同的情况下，用户可以请求下一个设置屏幕(例如，可以通过选择继续按钮项请求下一个屏幕)。作为响应，如状态2603，用户设备2202可以输出登记所收集的文本信息作为与语音解锁功能相关的认证信息的登记屏幕。如果在登记屏幕上执行用于指示完成登记的输入(例如，选择完成按钮项)，如状态2620，用户设备2202可以开启(或激活)声音认证功能。如果在状态2603下执行用于请求返回至之前的功能的输入(例如，选择后退键按钮)，如状态2605，用户设备2202可以输出信息(例如，toast弹出)以确认返回至之前的功能的请求。例如，在用户想要返回至之前的屏幕的情况下，用户设备2202可以输出请求用户按压后退键的信息。在再次按压后退键的情况下，如状态2607，用户设备2202可以改变至输出与设置用于语音解锁的认证信息相关的屏幕的状态。例如，用户设备2202可以继续用于语音解锁的认证信息的初始设置过程，其对应关于图25所述的状态2501(可以在状态2501下输出屏幕)。
图27是示出了根据本公开一个实施方案的与设置应用于语音命令功能的语音解锁功能相关的屏幕界面的一个示例的图。
参考图27，如状态2701，用户设备2202可以在显示器上输出语音解锁功能的设置屏幕。例如，用户设备2202可以提供与下列中的至少一种相关的设置项：电子设备的设置功能的选择、语音命令功能的配置和语音解锁功能的配置。如果选择设置项(或在调用与语音解锁功能的配置相关的基于语音的设置功能的情况下)，用户设备2202可以输出语音解锁功能的设置屏幕。
语音解锁功能的设置屏幕可以包括用于操作(或确定)是否将语音解锁功能激活或去激活的项。例如，如果语音解锁功能处于激活(例如，开启)状态，如状态2701，用户设备2202可以显示与处于开启状态2710下的设置项对应的设置项。在操作设置项以将语音解锁功能改变为去激活状态(例如，关闭)状态的情况下，如状态2703，用户设备2202可以显示处于关闭状态2720下的设置项。在当语音解锁功能处于去激活状态时接收用户输入信号以将语音解锁功能改变为激活状态的情况下，如状态2705，用户设备2202可以确定正常的安全功能是否可用。正常的安全功能可以包括锁定设置功能，如上述模式锁定、数字锁定或口令锁定。在正常安全功能可用的情况下，用户设备2202可以继续状态2701以输出指示语音解锁功能为激活状态的屏幕。
在正常安全功能不可用的情况下，用户设备2202可以继续状态2707以输出与设置正常的安全功能相关的屏幕(或弹出)。在与设置正常的安全功能相关的屏幕上移除正常安全功能的设置的情况下，用户设备2202可以继续状态2701，而不设置正常的安全功能。如果在与设置正常的安全功能相关的屏幕上选择设置项(例如，设置锁定)，用户设备2202可以继续状态2709以设置屏幕锁定。在该操作中，用户设备2202可以将之前登记的模式锁定、数字锁定或口令锁定改变为激活状态，或者可以从用户接收新的模式或数字。如果完成正常安全功能的设置，用户设备2202可以继续状态2701以输出指示应用于语音命令功能的语音解锁功能处于激活状态的屏幕。
根据各个实施方案，在指示语音解锁功能的激活的状态2701下，用户设备2202可以提供改变用于语音解锁的认证信息的改变项(例如，改变声音口令)。如果选择该改变项，如状态2711，用户设备2202可以继续用于语音解锁的认证信息的初始设置过程(例如，上述状态2501)。
图28A和28B是示出了根据本公开一个实施方案的应用于执行语音命令功能的语音解锁功能操作的一个示例的图。
参考图28A和28B，如状态2801，用户设备2202可以处于始终开启的显示(AOD)状态(其中当显示器被限制性地操作时处理器的至少一部分为睡眠的状态)。备选地，用户设备2202可以被保持在待机或睡眠状态(例如，其中关闭显示器的状态)。为了基于用户语音唤醒电子设备(主处理器)，处于AOD或睡眠状态的用户设备2202可以保持至少一个麦克风处于激活状态(可以使用不同于主处理器的低功率处理器驱动麦克风)。根据各个实施方案，用户设备2202可以包括与执行语音命令功能相关的单独的物理按钮或主按钮，且在按压相应的按钮的情况下，用户设备2202可以执行与执行语音命令功能相关的应用。
根据各个实施方案，如果收集指定的用于唤醒电子设备的用户语音输入或与执行语音命令功能相关的用户语音输入(例如，“Hi，galaxy”或“Hi，Bixby”)，如状态2803，用户设备2202可以开启显示器。根据各个实施方案，在状态2803下，用户设备2202可以在显示器一侧输出指示执行与执行语音命令功能相关的智能APP(Bixby)的图标(例如，“B”)。在状态2803下，用户设备2202可以激活至少一个麦克风且可以处于其中收集与语音命令功能相关的用户话音信息的状态(例如，收听)。
根据各个实施方案，在状态2803和2805下，用户设备2202可以输出与语音命令功能相关的全屏视图项2810和2820，且如果选择全屏视图项2810和2820，如状态2830，用户设备2202可以在显示器上输出被配置成与语音命令功能相关的全屏。即使在显示器上输出与语音命令功能相关的全屏，用户设备2202也可以保持在屏幕锁定状态。备选地，与语音命令功能相关的全屏可以具有锁定功能且可以代替锁定屏幕被显示。
如果收集到与执行语音命令功能相关的用户话音信息(例如，语音命令)，如状态2805，用户设备2202可以使所收集的用户话音信息流向智能服务器2201。在该操作中，用户设备2202可以使所获得的用户话音信息实时流向智能服务器2201直至发生指定的事件(例如，获得EPD或者按压或释放指定的物理按钮)。如果获得指定的事件(例如，获得EPD或者按压指定的物理按钮)或经过指定的时间段，如状态2807，用户设备2202可以处理从智能服务器2201接收的路径规则。在状态2809下，用户设备2202可以分析路径规则的内容以确定是否执行所接收的路径规则。上述状态2803至2809可以包括其中正常的安全功能例如屏幕锁定可用的状态。
在状态2811下，用户设备2202可以确定是否与执行路径规则相关要求解锁。在不需要解锁的情况下，如状态2813，用户设备2202可以根据路径规则的执行输出屏幕。例如，如果接收与被设置成不要求解锁的电子设备的时钟信息、天气信息、声音音量控制、亮度控制等相关的路径规则，用户设备2202可以将根据相应的路径规则的功能执行屏幕输出在显示器上，而不执行解锁过程。
在要求解锁以执行路径规则的情况下，如状态2815，用户设备2202可以确定是否已经设置语音解锁功能。如果已经设置语音解锁功能，如状态2817，用户设备2202可以执行语音解锁功能。在该操作中，如上关于图23所述，用户设备2202可以输出发出收集用于语音解锁的话音信息的请求的信息。如果用户发出用于语音解锁的语音，用户设备2202可以收集话音信息。用户设备2202可以通过智能服务器2201收集对应于话音信息的文本，然后可以将所收集的文本与认证信息比较，以确定认证是否成功。如果成功地认证语音解锁功能，用户设备2202可以执行根据路径规则的功能，其被获得为与语音命令功能的执行相关。
在状态2815下的确定结果表明没有设置语音解锁功能的情况下，用户设备2202可以继续状态2819以根据正常的安全功能输出锁定屏幕。在状态2821下，用户设备2202可以确定根据正常安全功能的锁定设置是否解锁。在解锁失败的情况下，用户设备2202可以返回至状态2819。如果根据正常安全功能的锁定设置解锁，用户设备2202可以继续图28B的状态2823以确定语音命令功能的执行结果是否为指定类型(例如，小程序或文本)(可以以小程序或文本形式提供结果？)。
例如，指定类型可以包括与提供具有安全性的简要信息(例如，显示用户日程安排信息、显示用户约会、显示用户金融信息等)相关的数据属性。根据各个实施方案，指定类型可以包括例如，被设置成需要解锁且满足指定条件的信息(例如，被设置成根据单个程序的执行输出的信息)。与指定类型相关的指定条件可以依赖于设置或设计方法的变化而变化。例如指定条件可以包括用于用户输入信号所选择的信息、与特定的程序(例如，电子邮件、消息等)相关的信息等的条件。在语音命令功能的执行结果为指定类型的情况下，如状态2825，用户设备2202可以将具有安全性的简要信息输出在显示器上。
在语音命令功能的执行结果不是指定类型的情况下，如状态2827，用户设备2202可以确定是否需要参数。所述参数可以包括用户根据语音命令功能的执行必须另外键入用户设备2202的输入信息。在另外需要所述参数的情况下，如状态2829，用户设备2202可以继续执行智能APP且可以收集与另外的参数输入相关的用户输入信号。可以通过用户的语音收集或者可以通过键输入、触摸屏等输入用户输入信号。在无需另外输入所述参数的情况下，如状态2831，用户设备2202可以执行根据路径规则的功能且可以将功能执行屏幕的至少一部分输出在显示器上。如果用户设备2202被请求结束语音命令功能，如状态2833，用户设备2202可以结束语音命令功能。例如，如果经过了指定的时间段或在状态2831下生成发出结束语音命令功能的请求的用户输入信号，如状态2833，用户设备2202可以结束语音命令功能。
图29A和29B是示出了根据本公开一个实施方案的脸部识别和应用于执行语音命令功能的语音解锁功能操作的一个示例的图。
参考图29A和29B，如状态2901，用户设备2202可以处于AOD状态。AOD状态可以包括例如其中在显示区域的至少一部分上显示有限的信息(例如，时间信息)的状态和其中激活至少一个麦克风的状态。如果生成与执行语音命令功能相关的输入信号(例如，按压与执行语音命令功能相关的物理按钮或者用于唤醒语音命令功能的用户语音输入)，如状态2903，用户设备2202可以将语音命令功能的执行屏幕输出在显示器上。如果AOD状态变为其中开启显示器的状态，用户设备2202可以根据设置使用照相机(例如，红外线(IR)照相机和RGB照相机中的至少一种)识别用户的脸部。用户设备2202如果未能识别用户的脸部，可以在显示器上输出锁定屏幕，且如果成功地识别用户的脸部，可以在显示器上输出设置屏幕(例如，在刚刚进入AOD状态之前的屏幕、虚拟键输入屏幕等)。
在状态2903下，如上述状态2803，用户设备2202可以在显示器上输出通知用户语音命令功能正在被执行的图标(“B”)。用户设备2202可以激活至少一个麦克风且可以处于其中收集与语音命令功能相关的用户话音信息的状态(例如，收听)。如果收集与语音命令功能相关的用户话音信息(例如，语音命令)，如状态2905，用户设备2202可以使所收集的用户话音信息流向智能服务器2201。当收集上述话音信息时，用户设备2202可以在显示器上输出对应于用户话音信息的文本信息。根据各个实施方案，在状态2903和2905下，用户设备2202可以输出与语音命令功能相关的全屏视图项(例如，全屏)，且如果选择全屏视图项，用户设备2202可以在显示器上输出与语音命令功能相关的全屏。
如果结束用户话音信息的输入(例如，获得EPD或指定的物理按钮被长时间按压或敲击两次)，如状态2907，用户设备2202可以处理对应于用户话音信息且从与语音命令功能相关的智能服务器2201接收的语音命令功能结果(例如，路径规则)。在状态2909下，用户设备2202可以分析所接收的结果，且在状态2911下，用户设备2202可以确定是否需要解锁以根据语音命令功能结果运行装置。例如，用户设备2202可以确定语音命令功能结果是否对应被设置成在解锁的情况下被输出的信息。在这方面，用户设备2202可以存储和管理被设置成在没有解锁的情况下被输出的信息或信息类型的列表。在列表中登记的信息或信息类型可以通过用户设置改变，或者可以响应语音命令功能的方针而改变。备选地，智能服务器2201可以提供关于对于语音命令功能结果是否需要解锁的指令，且响应相应的指令，用户设备2202可以确定是否执行解锁。
在无需解锁的情况下，如状态2913，用户设备2202可以在显示器上输出语音命令功能结果。在需要解锁的情况下，如状态2915，用户设备2202可以确定脸部认证是否已经成功。在脸部认证已经失败或者没有执行脸部认证的设置的情况下，如状态2917，用户设备2202可以确定语音解锁功能是否已经被激活。在语音解锁功能已经被激活的情况下，如状态2919，用户设备2202可以基于语音解锁功能输出语音命令功能的结果。在状态2919下的操作可以包括与在图28的上述状态2817下的操作类似的操作。
在语音解锁功能未被激活的情况下，用户设备2202可以在状态2921下输出锁定屏幕，且可以确定是否执行解锁，如状态2923。如果执行解锁，如状态2925，用户设备2202可以确定语音命令功能结果是否为指定类型(例如，小程序或文本)。
在语音命令功能结果为指定类型的情况下，如状态2927，用户设备2202可以在显示器上输出信息的指定类型。例如，用户设备2202可以通过小程序屏幕或文本屏幕输出语音命令功能结果。在语音命令功能结果不是指定类型的情况下，如状态2929，用户设备2202可以确定是否需要参数。在需要所述参数的情况下，如状态2931，用户设备2202可以根据另外的参数的输入输出屏幕。例如，用户设备2202可以具有其中在输出多个执行屏幕的过程中输出需要另外的参数的输入的屏幕的状态(部分登陆(landing))。在无需所述参数的情况下，如状态2933，用户设备2202可以根据指定的方法输出语音命令功能结果。如果发生用于发出结束语音命令功能的请求的事件，如状态2935，用户设备2202可以结束语音命令功能。
图30是示出了根据本公开一个实施方案的执行语音解锁功能的一个示例的图。
参考图30，如果发生了用于发出执行语音命令功能的请求的事件(例如，按压物理按钮或者收集被设置成唤醒语音命令功能的话音信息)，如状态3001，用户设备2202可以输出与执行语音命令功能相关的屏幕。在该操作中，在已经设置语音解锁功能的情况下，如在该图中所示出的，用户设备2202可以在显示器上输出与语音解锁相关的锁定屏幕。用户设备2202可以在显示器上输出需要与语音解锁相关的语音的信息。备选地，用户设备2202可以以音频的形式输出需要与语音解锁相关的语音的信息。
在输出需要与语音解锁相关的语音的信息之后，如状态3003，用户设备2202可以处于用于收集(收听)用于语音解锁的话音信息的待机状态。如果收集用于语音解锁的话音信息(语音命令)，如状态3005，用户设备2202可以在显示器上输出对应于所获得的用于语音解锁的话音信息的文本信息。在这方面，用户设备2202可以向智能服务器2201提供用于语音解锁的话音信息且可以接收和输出对应于相关的话音信息的文本。备选地，用户设备2202可以基于本地话音识别DB执行话音识别且可以输出对应于话音识别结果的文本。
在状态3007下，用户设备2202可以确定所获得的用于语音解锁的话音信息是否与登记的认证信息一致。在这方面，用户设备2202可以预先和管理用于语音解锁的认证信息。如果获得用于语音解锁的话音信息或与此相应的文本，用户设备2202可以将话音信息或文本与所存储的认证信息比较。在的情况下所收集的话音信息与登记的认证信息一致，如状态3009，用户设备2202可以执行语音命令功能。例如，用户设备2202可以处于用于收集与语音命令功能相关的话音信息的待机状态。备选地，在有与用于语音解锁的话音信息一起被输入的另外的话音信息的情况下，用户设备2202可以从智能服务器2201获得对应于相关话音信息的路径规则，且可以执行根据所获得的路径规则的功能(语音命令功能)。在该操作中，用户设备2202可以从智能服务器2201接收与语音命令功能相关的路径规则，或者当执行语音解锁功能时，可以存储所接收的路径规则。
在所收集的话音信息不与一致的登记的认证信息的情况下，如状态3011，用户设备2202可以输出以下信息：基于显示器和扬声器中的至少一种，已经收集不同于认证信息的话音信息。如果经过了指定的时间段，如状态3303，用户设备2202可以在显示器上输出锁定屏幕。状态3013可以包括例如，其中输出与语音解锁功能相关的锁定屏幕的状态。在状态3013下，用户设备2202可以根据语音解锁的失败强行结束语音命令功能。
根据上述各个实施方案，根据一个实施方案的电子设备可以包括：显示器；用于存储要被输出在显示器上的至少一个信息的存储器；包括被配置成收集从用户接收的语音输入的输入电路的输入装置；和与显示器、输入装置和存储器电连接的处理器。如果被请求在其中设置声音锁定功能的状态下执行语音命令功能，处理器可以收集话音信息，可以从智能服务器接收对应于话音信息的语音命令功能结果，且可以确定是否解除声音锁定，这依赖于语音命令功能结果的类型。
在语音命令功能结果对应被限定为需要语音解锁的信息的情况下，处理器可以在没有语音解锁的情况下输出语音命令功能结果。
在语音命令功能结果对应被限定为使得初步执行语音解锁的信息的情况下，处理器可以收集用于解除声音锁定的认证的话音信息，且在用于认证的话音信息对应预先存储的认证信息的情况下，处理器可以解除声音锁定，且可以输出语音命令功能结果的至少一部分。
在与声音锁定功能一起设置正常的安全功能(例如，模式锁定、数字锁定或口令锁定)的情况下，处理器可以在禁用声音锁定功能时解除正常安全功能的锁定。另外，在根据在触摸屏上扫描事件的出现将保护屏幕显示功能设置成移除保护屏幕的情况下，处理器可以在使声音锁定功能失败时移除保护屏幕，且可以输出与语音命令功能相关的屏幕或者包括至少一部分语音命令功能结果的屏幕。
在将脸部识别功能与声音锁定功能一起设置的情况下，处理器可以在使声音锁定功能失败时解除脸部识别功能的锁定设置。
根据上述各个实施方案，根据一个实施方案的电子设备可以包括：显示器；用于存储要被输出在显示器上的至少一段信息的存储器；包括被配置成收集从用户接收的语音输入的输入电路的输入装置；和与显示器、输入装置和存储器电连接的处理器。在接收执行信号和与执行语音命令功能相关的用户语音输入中的至少一种时，处理器可以识别锁定状态以基于语音解除锁定，所述语音命令功能是基于用户的语音输入被执行的，且如果收集对应于预存储的用于语音解锁的认证信息的话音信息或对应于该话音信息的文本，处理器可以输出语音命令功能的执行结果的至少一部分。
根据本公开的各个实施方案的与语音命令功能相关的用户设备(或电子设备或便携式终端)的操作方法可以包括：接收与执行语音命令功能相关的执行信号，所述语音命令功能是基于用户语音的识别被执行的；基于应用于电子设备的语音命令功能的语音解锁功能输出对应于锁定状态的屏幕；收集用户话音信息；和在话音信息的至少一部分与预存储的用于语音解锁的认证信息一致的情况下，执行语音命令功能的至少一部分。该方法还可以包括从智能服务器接收除用于语音解锁的话音信息之外的其余话音信息的语音命令功能结果，和输出根据语音解锁接收的语音命令功能结果的至少一部分。
本文所用的术语“模块”可以是指例如，包括硬件、软件和固件中的一种或它们的任何组合的单元。术语“模块”可以与例如术语“单元”，“逻辑电路”，“逻辑块”，“部件”或“电路”等交换使用。“模块”可以是集成部件或其部分的最小单元。“模块”可以是执行一种或多种功能或其一部分的最小单元。“模块”可以以机械或电子的方式实现。例如，“模块”可以包括，例如而非限制性地，专用处理器、CPU、应用程序专用集成电路(ASIC)芯片、场可编程门阵列(FPGA)或可编程逻辑装置等中的至少一种，其是公知的或者将在未来被开发，用于执行某些操作。
根据本公开的各个实施方案，装置(例如，模块或功能)或方法(例如，操作)的至少一部分可以以例如存储在具有程序模块的计算机可读取介质中的指令的形式实现。当通过处理器执行指令时，一个或多个处理器可以执行对应于所述指令的功能。计算机可读取的介质可以是例如存储器。
根据本公开的各个实施方案的模块或程序模块可以包括上述部件的至少一个或多个，上述部件的一些可以被省略，或者还可以包括其他的另外的部件。通过模块、程序模块或其他部件执行的操作可以通过连续方法、并行方法、重复方法或启发式方法执行。此外，一些操作可以以不同的顺序执行或者可以被省略，且可以增加其他的操作。
在附图中描述和显示的本公开的实施方案是以说明性示例的形式提供的，旨在帮助理解但不限制本公开。因此，应当理解，除了在本文中所列举的实施方案之外，基于本公开的技术构思得到的全部修改或变型被包括在权利要求所定义的本公开及其等同物中。
本公开的上述实施方案可以以硬件、固件的形式或通过执行软件或计算机指令而实现，所述软件或计算机指令可以被存储在记录介质如CD ROM，数字通用光盘)、磁带、RAM、软盘、硬盘或磁光盘或最初存储在远程记录介质的通过网络下载的计算机编码或非临时性机器可读取介质上，且为了被存储在本地记录介质上，使得可以通过这样的软件实施在本文中描述的方法，所述软件利用通用计算机、或专用处理器被存储在记录介质上，或者被存储在可编程或专用硬件如ASIC或FPGA中。如在本领域中所理解的，计算机、处理器、微处理器控制器或可编程硬件包括可以存储或接收软件或计算机编码的存储器部件，例如RAM、ROM、闪存等，所述软件或计算机编码在被计算机访问和执行时，处理器或硬件实现本文中所述的处理方法。
控制装置(例如，包括控制器，处理器等的控制装置)可以包括微处理器或任何适合的类型的处理电路，如一个或多个通用处理器(例如，基于ARM的处理器)、数字化信号处理器(DSP)、可编程逻辑装置(PLD)、应用程序专用集成电路(ASIC)、场可编程门阵列(FPGA)、图形处理装置(GPU)、视频卡控制器等。此外，应当认识到，当通用计算机访问用于实现本文中所示的处理的编码时，编码的执行可以将通用计算机转变为专用计算机用于执行本文所示的处理。在附图中提供的任何功能和步骤可以以硬件、软件或它们的任意组合的形式实现且可以在计算机的编程指令中全部或部分地被执行。此外，技术人员理解且意识到“处理器”或“微处理器”可以包括本公开中的硬件(例如，电路)。

Claims (10)

1.一种电子设备，包括：
显示器；
存储器，被配置成存储要在所述显示器上输出的至少一个信息；
输入装置，所述输入装置包括输入电路，所述输入电路被配置成接收输入；以及
处理器，所述处理器与所述显示器、所述输入装置和所述存储器电连接；
其中所述处理器被配置成：
当用于执行语音命令功能的输入事件发生时，收集语音命令；
如果所述电子设备不处于锁定状态，提供与所收集的语音命令相对应的功能的全部功能执行状态，其中所述全部功能执行状态允许对存储在所述存储器中的全部信息进行访问；以及
如果所述电子设备处于锁定状态：
确定所述锁定状态的锁定设置；
如果所述锁定设置对应于第一锁定状态，在所述第一锁定状态下解锁所述第一锁定状态需要完成用户认证，则提供所述功能的部分功能执行状态，所述部分功能执行状态仅允许对存储在所述存储器中的部分信息进行访问；以及
如果所述锁定设置对应于第二锁定状态，在所述第二锁定状态下解锁所述第二锁定状态需要特定手势输入并且不需要完成用户认证，则提供所述功能的全部功能执行状态，并且在所述第二锁定状态下基于所述全部功能执行状态在屏幕上输出对应于所收集的语音命令的结果。
2.根据权利要求1所述的电子设备，其中所述处理器被配置成在所述电子设备不处于锁定状态或处于所述第二锁定状态的情况下，基于所述全部功能执行状态输出对应于所收集的语音命令的结果。
3.根据权利要求1所述的电子设备，其中所述处理器被配置成如果所述电子设备处于所述第一锁定状态，则基于所述部分功能执行状态输出对应于所收集的语音命令的结果。
4.根据权利要求3所述的电子设备，其中所述处理器被配置成如果在所述部分功能执行状态下完成用户认证，则再次基于所述全部功能执行状态输出对应于所收集的语音命令的结果。
5. 根据权利要求1所述的电子设备，其中所述处理器被配置成：
获得与是否必须基于所述全部功能执行状态执行对应于所收集的语音命令的结果相关的信息；以及
在所述电子设备处于所述第一锁定状态并且必须基于所述全部功能执行状态执行对应于所收集的语音命令的结果的情况下，输出请求用户认证的引导信息。
6.根据权利要求1所述的电子设备，其中所述处理器被配置成自动执行用户认证，并且被配置成如果所述电子设备处于所述第一锁定状态则基于所述用户认证的结果提供所述部分功能执行状态和所述全部功能执行状态中的任何一个。
7.根据权利要求1所述的电子设备，其中所述输入装置包括：
物理按钮，所述物理按钮与所述输入事件相关联；和
指纹传感器，所述指纹传感器设置在所述物理按钮内部或在与所述物理按钮相邻的区域中，
其中所述处理器被配置成：
基于在发生所述输入事件时自动检测到的指纹信息来执行指纹认证；以及
当完成所述指纹认证时，基于所述全部功能执行状态输出对应于所收集的语音命令的结果。
8.根据权利要求1所述的电子设备，还包括：
传感器，所述传感器被配置成识别虹膜或脸部，
其中所述处理器被配置成：
当发生所述输入事件时，通过自动识别虹膜或脸部来执行用户认证；以及
当完成所述用户认证时，基于所述全部功能执行状态输出对应于所收集的语音命令的结果。
9. 根据权利要求1所述的电子设备，其中所述处理器被配置成：
如果所述电子设备处于所述第一锁定状态，则响应于所收集的语音命令的执行而输出公开提示；或
如果所述电子设备处于所述第二锁定状态，则响应于所收集的语音命令的执行而输出私密提示。
10.根据权利要求1所述的电子设备，其中所述处理器被配置成解除所述第一锁定状态，并且被配置成如果当所述电子设备处于所述第一锁定状态时完成了指定的用户认证，则在背景中利用指定屏幕输出指示所收集的语音命令的全部功能执行状态的信息。
CN201810164602.9A 2017-02-28 2018-02-27 用于功能执行的电子设备的操作方法和支持其的电子设备 Active CN108509119B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20170026705 2017-02-28
KR10-2017-0026705 2017-02-28
KR1020170081506A KR102376964B1 (ko) 2017-02-28 2017-06-27 잠금 상태에서의 음성 명령을 기반으로 하는 기능 실행 운용 방법 및 이를 지원하는 전자 장치
KR10-2017-0081506 2017-06-27

Publications (2)

Publication Number Publication Date
CN108509119A CN108509119A (zh) 2018-09-07
CN108509119B true CN108509119B (zh) 2023-06-02

Family

ID=61569057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810164602.9A Active CN108509119B (zh) 2017-02-28 2018-02-27 用于功能执行的电子设备的操作方法和支持其的电子设备

Country Status (4)

Country Link
US (1) US11314898B2 (zh)
EP (1) EP3382530B1 (zh)
CN (1) CN108509119B (zh)
WO (1) WO2018159971A1 (zh)

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10841412B2 (en) * 2017-03-13 2020-11-17 Motorola Mobility Llc Method and apparatus for enabling context-based voice responses to always-on-display notifications
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179549B1 (en) * 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
CN109093627A (zh) * 2017-06-21 2018-12-28 富泰华工业（深圳）有限公司 智能机器人
US10831246B2 (en) 2017-07-14 2020-11-10 Motorola Mobility Llc Virtual button movement based on device movement
US10817173B2 (en) 2017-07-14 2020-10-27 Motorola Mobility Llc Visually placing virtual control buttons on a computing device based on grip profile
US10498890B2 (en) * 2017-07-14 2019-12-03 Motorola Mobility Llc Activating virtual buttons using verbal commands
US11220008B2 (en) * 2017-07-18 2022-01-11 Panasonic Intellectual Property Management Co., Ltd. Apparatus, method, non-transitory computer-readable recording medium storing program, and robot
US10345773B1 (en) * 2017-08-22 2019-07-09 Josh.ai LLC Contextual home automation controller
CN107480502A (zh) * 2017-09-07 2017-12-15 广东欧珀移动通信有限公司 指纹识别方法、装置、移动终端及存储介质
US10885919B2 (en) * 2018-01-05 2021-01-05 Nuance Communications, Inc. Routing system and method
US20190235831A1 (en) * 2018-01-31 2019-08-01 Amazon Technologies, Inc. User input processing restriction in a speech processing system
US10777203B1 (en) * 2018-03-23 2020-09-15 Amazon Technologies, Inc. Speech interface device with caching component
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
CN108538305A (zh) * 2018-04-20 2018-09-14 百度在线网络技术（北京）有限公司 语音识别方法、装置、设备及计算机可读存储介质
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10713343B2 (en) * 2018-05-10 2020-07-14 Lenovo (Singapore) Pte. Ltd. Methods, devices and systems for authenticated access to electronic device in a closed configuration
US10991373B1 (en) * 2018-05-29 2021-04-27 Amazon Technologies, Inc. Voice command processing for locked devices
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
JP7182945B2 (ja) * 2018-08-09 2022-12-05 キヤノン株式会社 画像形成システム、画像形成装置および画像形成装置の制御方法
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10650819B2 (en) * 2018-10-15 2020-05-12 Midea Group Co., Ltd. System and method for providing portable natural language processing interface across multiple appliances
CN111105792A (zh) * 2018-10-29 2020-05-05 华为技术有限公司 语音交互处理方法及装置
DE102018132794A1 (de) * 2018-12-19 2020-06-25 Patty's Gmbh Verfahren zur Eingabe von Befehlen für eine elektronische Einrichtung
CN109378006B (zh) * 2018-12-28 2022-09-16 三星电子（中国）研发中心 一种跨设备声纹识别方法及系统
CN109688474A (zh) * 2018-12-28 2019-04-26 南京创维信息技术研究院有限公司 电视语音控制方法、装置和计算机可读存储介质
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN110362290A (zh) * 2019-06-29 2019-10-22 华为技术有限公司 一种语音控制方法及相关装置
WO2021006404A1 (ko) * 2019-07-11 2021-01-14 엘지전자 주식회사 인공지능 서버
CN112289320A (zh) * 2019-07-25 2021-01-29 Tcl集团股份有限公司 一种智能终端语音控制方法、系统及可读存储介质
US10915227B1 (en) * 2019-08-07 2021-02-09 Bank Of America Corporation System for adjustment of resource allocation based on multi-channel inputs
CN110516083B (zh) * 2019-08-30 2022-07-12 京东方科技集团股份有限公司 相册管理方法、存储介质及电子设备
KR20210026962A (ko) 2019-09-02 2021-03-10 삼성전자주식회사 보이스 어시스턴트 서비스를 제공하는 장치 및 방법
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US10984086B1 (en) * 2019-10-18 2021-04-20 Motorola Mobility Llc Methods and systems for fingerprint sensor triggered voice interaction in an electronic device
US11289086B2 (en) * 2019-11-01 2022-03-29 Microsoft Technology Licensing, Llc Selective response rendering for virtual assistants
CN111161722B (zh) * 2019-12-04 2023-08-29 深圳创维－Rgb电子有限公司 一种息屏画面显示方法、终端及存储介质
US11676586B2 (en) * 2019-12-10 2023-06-13 Rovi Guides, Inc. Systems and methods for providing voice command recommendations
RU2723667C1 (ru) * 2020-01-11 2020-06-17 Илья Владимирович Редкокашин Способ передачи персональной информации
CN113138816A (zh) 2020-01-19 2021-07-20 华为技术有限公司 一种息屏显示主题显示方法及移动设备
CN113325941B (zh) * 2020-02-29 2022-07-12 荣耀终端有限公司 屏下指纹显示方法及电子设备
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11816943B2 (en) * 2020-07-14 2023-11-14 Carrier Corporation System and method for visually aided access control
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11769360B1 (en) * 2020-08-07 2023-09-26 Interactive Touchscreen Solutions, Inc. Interactive touchless information exchange system
CN114125143B (zh) * 2020-08-31 2023-04-07 华为技术有限公司 一种语音交互方法及电子设备
US20220084528A1 (en) * 2020-09-16 2022-03-17 Haier Us Appliance Solutions, Inc. Knife station with speech recognition
CN112509185A (zh) * 2020-12-04 2021-03-16 国网江苏省电力有限公司镇江供电分公司 一种变电站外借钥匙自动存取箱
US11587568B2 (en) * 2020-12-08 2023-02-21 Google Llc Streaming action fulfillment based on partial hypotheses
US20220191683A1 (en) * 2020-12-15 2022-06-16 T-Mobile Usa, Inc. Authorized voice command override for wireless device data capabilities
US11955137B2 (en) * 2021-03-11 2024-04-09 Apple Inc. Continuous dialog with a digital assistant
CN113156852A (zh) * 2021-03-29 2021-07-23 珠海格力电器股份有限公司 一种电器的控制方法、装置、存储介质及电器
US11942090B2 (en) * 2021-06-04 2024-03-26 Apple Inc. Accessory device based authentication for digital assistant requests
CN115495721A (zh) * 2021-06-18 2022-12-20 华为技术有限公司 一种访问控制方法及相关装置
CN113421570A (zh) * 2021-06-21 2021-09-21 紫优科技(深圳)有限公司 一种智能耳机身份认证方法及装置
US11757871B1 (en) 2021-07-13 2023-09-12 T-Mobile Usa, Inc. Voice command security and authorization in user computing devices

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176714A (zh) * 2012-04-24 2013-06-26 微软公司 从锁定屏幕直接访问应用
KR20150042637A (ko) * 2013-10-11 2015-04-21 엘지전자 주식회사 지문 인식 및 음성 실행 기능을 가지는 단말기의 제어 방법 및 그 단말기
CN104937603A (zh) * 2013-01-10 2015-09-23 日本电气株式会社 终端、解锁方法和程序
JP2016058816A (ja) * 2014-09-08 2016-04-21 シャープ株式会社 情報端末および情報端末システム
CN105551487A (zh) * 2015-12-07 2016-05-04 北京云知声信息技术有限公司 一种语音控制方法及装置
CN105723448A (zh) * 2014-01-21 2016-06-29 三星电子株式会社 电子设备及其语音识别方法
WO2016110002A1 (zh) * 2015-01-09 2016-07-14 宇龙计算机通信科技(深圳)有限公司 屏幕界面的解锁方式和屏幕界面的解锁装置
CN106448678A (zh) * 2012-05-29 2017-02-22 三星电子株式会社 用于在电子装置中执行语音命令的方法和设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009524357A (ja) 2006-01-20 2009-06-25 カンバーセイショナル コンピューティング コーポレイション 着用型ディスプレーインターフェースクライエント装置
US8811948B2 (en) 2010-07-09 2014-08-19 Microsoft Corporation Above-lock camera access
TW201206301A (en) 2010-07-29 2012-02-01 Hon Hai Prec Ind Co Ltd Enclosure of an electronic device
US8402533B2 (en) * 2010-08-06 2013-03-19 Google Inc. Input to locked computing device
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
KR101889836B1 (ko) 2012-02-24 2018-08-20 삼성전자주식회사 음성인식을 통한 단말기의 잠금 상태 해제 및 조작 방법 및 장치
US20150051913A1 (en) * 2012-03-16 2015-02-19 Lg Electronics Inc. Unlock method using natural language processing and terminal for performing same
KR102160767B1 (ko) 2013-06-20 2020-09-29 삼성전자주식회사 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
US9898642B2 (en) * 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
KR102140779B1 (ko) 2013-09-25 2020-08-03 에스케이플래닛 주식회사 하이브리드 인식 시스템, 하이브리드 인식 방법 및 이를 위한 장치
CN103874985B (zh) * 2013-11-01 2018-06-05 华为技术有限公司 一种终端设备呈现的方法及终端设备
KR101574243B1 (ko) 2014-09-12 2015-12-03 (주)한국플랫폼서비스기술 심볼을 이용한 보안 상태 해제 방법
KR102298767B1 (ko) 2014-11-17 2021-09-06 삼성전자주식회사 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법
WO2016141014A1 (en) * 2015-03-02 2016-09-09 Visa International Service Association Authentication-activated augmented reality display device
WO2016175396A1 (en) 2015-04-27 2016-11-03 Lg Electronics Inc. Mobile terminal and control method therefor
KR101830657B1 (ko) 2015-04-27 2018-02-21 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR102127308B1 (ko) * 2015-10-13 2020-06-26 후아웨이 테크놀러지 컴퍼니 리미티드 지문 식별을 사용하는 조작 방법 및 장치, 및 모바일 단말
US10181017B2 (en) * 2015-12-09 2019-01-15 Lenovo (Singapore) Pte. Ltd. Swipe mechanism
US11127405B1 (en) * 2018-03-14 2021-09-21 Amazon Technologies, Inc. Selective requests for authentication for voice-based launching of applications

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176714A (zh) * 2012-04-24 2013-06-26 微软公司 从锁定屏幕直接访问应用
CN106448678A (zh) * 2012-05-29 2017-02-22 三星电子株式会社 用于在电子装置中执行语音命令的方法和设备
CN104937603A (zh) * 2013-01-10 2015-09-23 日本电气株式会社 终端、解锁方法和程序
KR20150042637A (ko) * 2013-10-11 2015-04-21 엘지전자 주식회사 지문 인식 및 음성 실행 기능을 가지는 단말기의 제어 방법 및 그 단말기
CN105723448A (zh) * 2014-01-21 2016-06-29 三星电子株式会社 电子设备及其语音识别方法
JP2016058816A (ja) * 2014-09-08 2016-04-21 シャープ株式会社 情報端末および情報端末システム
WO2016110002A1 (zh) * 2015-01-09 2016-07-14 宇龙计算机通信科技(深圳)有限公司 屏幕界面的解锁方式和屏幕界面的解锁装置
CN105551487A (zh) * 2015-12-07 2016-05-04 北京云知声信息技术有限公司 一种语音控制方法及装置

Also Published As

Publication number Publication date
WO2018159971A1 (en) 2018-09-07
EP3382530A1 (en) 2018-10-03
US11314898B2 (en) 2022-04-26
US20180247065A1 (en) 2018-08-30
CN108509119A (zh) 2018-09-07
EP3382530B1 (en) 2021-06-02

Similar Documents

Publication Publication Date Title
CN108509119B (zh) 用于功能执行的电子设备的操作方法和支持其的电子设备
CN110199350B (zh) 用于感测语音结束的方法和实现该方法的电子设备
US11561763B2 (en) Electronic device for processing multi-modal input, method for processing multi-modal input and server for processing multi-modal input
CN108701178B (zh) 认证方法及使用认证方法的电子设备
US10726715B2 (en) Electronic device and method for performing operations according to proximity of external object
KR102552312B1 (ko) 복수의 지문 센싱 모드를 갖는 전자 장치 및 그 제어 방법
US10810292B2 (en) Electronic device and method for storing fingerprint information
US10706847B2 (en) Method for operating speech recognition service and electronic device supporting the same
CN108023934B (zh) 电子装置及其控制方法
EP3358455A1 (en) Apparatus and method for controlling fingerprint sensor
KR102426417B1 (ko) 인증 처리 방법 및 이를 지원하는 전자 장치
US20180143802A1 (en) Method for processing various inputs, and electronic device and server for the same
KR20170046958A (ko) 전자 장치 및 그의 음성 인식을 이용한 기능 실행 방법
KR20180083587A (ko) 전자 장치 및 그의 동작 방법
EP3584729B1 (en) Electronic device for performing authentication by using multiple biometric sensors and operation method thereof
CN108537018B (zh) 使用生物信息来认证的电子设备和操作电子设备的方法
CN108475329B (zh) 电子设备及其操作方法
EP3089020A1 (en) Electronic device for providing short-cut user interface and method therefor
KR102598441B1 (ko) 위치 인식 방법 및 이를 지원하는 전자 장치
CN110226163B (zh) 电子装置及使用其控制与显示器连接的生物传感器的方法
US9602910B2 (en) Ear jack recognition method and electronic device supporting the same
CN108460261B (zh) 用于管理内容的方法及其电子设备
US20180253202A1 (en) Electronic device and method for controlling application thereof
KR102376964B1 (ko) 잠금 상태에서의 음성 명령을 기반으로 하는 기능 실행 운용 방법 및 이를 지원하는 전자 장치
CN107798223B (zh) 电子装置及其操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant