CN107066084A - 用于管理音频读出的方法和设备 - Google Patents

用于管理音频读出的方法和设备 Download PDF

Info

Publication number
CN107066084A
CN107066084A CN201710006940.5A CN201710006940A CN107066084A CN 107066084 A CN107066084 A CN 107066084A CN 201710006940 A CN201710006940 A CN 201710006940A CN 107066084 A CN107066084 A CN 107066084A
Authority
CN
China
Prior art keywords
user
state
audio
response
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710006940.5A
Other languages
English (en)
Inventor
阿米特·库马尔·阿格拉沃尔
萨恰巴拉塔·劳特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Original Assignee
Motorola Mobility LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Mobility LLC filed Critical Motorola Mobility LLC
Publication of CN107066084A publication Critical patent/CN107066084A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems

Abstract

为了管理音频读出和可视通知，公开了一种方法和设备。所述设备包括音频输出装置、显示装置、处理器、和存储代码的存储器，所述代码可由所述处理器执行以：经由所述音频输出装置将音频读出呈现给所述设备的所述用户，确定用户关注状态，以及响应于所述用户关注状态是用户感兴趣的状态，经由所述显示装置在与所述音频读出对应的可视通知中呈现可视提示。所述可视提示可以指示在所述可视通知中与所述音频读出的当前位置对应的位置。将所述用户关注状态确定为用户感兴趣的状态可以包括：接收传感器数据；以及基于所述传感器数据来确定用户是否正拿着所述设备。

Description

用于管理音频读出的方法和设备
技术领域
本文所公开的主题涉及音频读出，并且更具体地涉及管理在电子装置上的音频读出和可视通知。
背景技术
相关技术的描述
随着在计算机系统中的语音合成和话音识别的进步，用户仅仅利用口语输入和音频输出来与诸如智能手机移动装置的交互是可行的。然而，虽然人们理解何时暂停对话，但是计算机无法确定何时应该呈现或者不应该呈现音频读出。当前，音频读出对于用户而言可能是冗长和繁琐的，并且有时是不合适的。冗长的音频读出也不向用户提供中断读出的机会。
发明内容
公开了一种用于管理音频读出和可视通知的方法。公开了一种实施该方法的功能的设备。
该方法可以包括：通过使用电子装置来将音频读出呈现给用户。该方法还可以包括：确定用户关注状态。该方法可以进一步包括：响应于用户关注状态是用户感兴趣的状态，在与音频读出对应的可视通知中呈现可视提示。
在一个实施例中，可视提示指示在可视通知中与音频读出的当前位置对应的位置。在某些实施例中，确定用户关注状态包括：接收用户的图像数据。确定用户关注状态还可以包括：基于图像数据来确定用户是否正看着电子装置。确定用户关注状态可以进一步包括：响应于用户正看着电子装置来将用户关注状态确定为用户感兴趣的状态。
在某些实施例中，在可视通知中呈现可视提示包括：在通信地耦合至电子装置的外部装置上显示可视通知，以及在显示在外部装置上的可视通知上呈现可视提示。在某些实施例中，确定用户关注状态包括：接收传感器数据，以及基于该传感器数据来确定用户是否正拿着电子装置。确定用户关注状态还可以包括：响应于用户正拿着电子装置来将用户关注状态确定为用户感兴趣的状态。
在某些实施例中，该方法包括：响应于确定用户正拿着电子装置来接收图像数据，以及基于该图像数据来确定正拿着电子装置的用户是否是电子装置的授权用户。该方法可以进一步包括：响应于正拿着电子装置的用户不是音频读出的授权收件人来暂停音频读出，以及响应于正拿着电子装置的用户不是电子装置的授权用户来限制对电子装置的访问。
在某些实施例中，该方法包括：响应于确定用户正拿着电子装置来接收图像数据，以及基于该图像数据来确定用户是否正看着电子装置。该方法可以进一步包括：响应于用户正看着电子装置来呈现与音频读出对应的可视通知，其中，在可视通知中呈现可视提示包括：响应于用户正看着电子装置来在可视通知中呈现可视提示。
在某些实施例中，该方法包括：响应于用户关注状态是用户分心的状态来暂停音频读出，响应于暂停音频读出来重新确定用户关注状态，以及响应于用户关注状态不再是用户分心的状态来恢复音频读出。在某些实施例中，恢复音频读出包括：获取对音频读出的先前呈现给用户的部分的概述，提醒用户是否呈现该概述，以及响应于对提醒的肯定响应来呈现该概述。
在某些实施例中，确定用户关注状态包括：测量在电子装置处的环境噪声等级，以及将环境噪声等级与不可听状态阈值(inaudible state threshold)进行比较。确定用户关注状态还可以包括：响应于环境噪声等级高于不可听状态阈值来将用户关注状态确定为用户分心的状态。在某些实施例中，重新确定用户关注状态包括：测量在电子装置处的环境噪声等级，将环境噪声等级与可听状态阈值(audible state threshold)进行比较，以及响应于环境噪声等级返回到低于可听状态阈值达阈值时间量，来将用户关注状态确定为不再是用户分心的状态。
在某些实施例中，该方法包括：确定环境噪声等级是否保持高于可听状态阈值达预定时间帧，以及响应于环境噪声等级保持高于可听状态阈值达预定时间帧，呈现可视通知和可视提示，其中，可视提示指示在可视通知中与音频读出的当前位置对应的位置。该方法可以进一步包括：接收通知，以及接收读取该通知的用户命令，其中，呈现音频读出包括：响应于用户命令来将音频读出呈现给用户，音频读出与接收到的通知对应。
在某些实施例中，该方法包括：确定通知的长度，以及响应于该长度超过预定长度来提醒用户是否呈现通知的概述读出，其中，呈现音频读出包括：响应于对提醒的肯定响应来呈现概述读出。在其它实施例中，该方法包括：确定通知的长度，其中，呈现音频读出包括：响应于该长度超过预定长度来呈现通知的概述读出，以及提醒用户是否呈现整个通知，其中，呈现音频读出进一步包括：响应于对提醒的肯定响应来呈现与整个通知对应的完整读出。
该设备包括音频输出装置、显示装置、处理器、和存储器，该存储器存储可由处理器执行的代码。当执行代码时，处理器经由音频输出装置将音频读出呈现给设备的用户，确定用户关注状态，并且响应于用户关注状态是用户感兴趣的状态，经由显示装置在与音频读出对应的可视通知中呈现可视提示。
在某些实施例中，该设备包括被配置为捕捉图像数据的图像传感器。确定用户关注状态可以包括：接收用户的图像数据，基于该图像数据来确定用户是否正看着显示装置，以及响应于用户正看着显示装置来将用户关注状态确定为用户感兴趣的状态，其中，可视提示指示在可视通知中与音频读出的当前位置对应的位置。
在某些实施例中，存储器进一步包括代码，该代码可由处理器执行以响应于呈现可视提示来终止音频读出。在某些实施例中，确定用户关注状态包括：接收传感器数据，基于该传感器数据来确定用户是否正拿着设备，以及响应于用户正拿着设备来将用户关注状态确定为用户感兴趣的状态。
在某些实施例中，该设备包括环境噪声传感器，其中，存储器进一步包括代码，该代码可由处理器执行以：测量在设备处的环境噪声等级，将环境噪声等级与不可听状态阈值进行比较，响应于环境噪声等级高于不可听状态阈值来暂停音频读出，响应于暂停音频读出来重新测量在用户装置处的环境噪声等级，将重新测量得到的环境噪声等级与可听状态阈值进行比较，响应于重新测量得到的环境噪声等级低于可听状态阈值达阈值时间量来恢复音频读出，并且响应于环境噪声等级在预定时间帧内保持高于可听状态阈值来呈现可视通知和可视提示。
附图说明
将参照在附图中示出的具体实施例来提供对上面简要描述过的实施例的更具体的描述。要理解，这些附图仅仅描绘了某些实施例，并且因此不被认为是对范围的限制，将通过使用附图，以附加特异性和细节来描述和阐释实施例。
图1是示出了用于管理音频读出和可视通知的系统的一个实施例的示意框图；
图2是示出了用于管理音频读出和可视通知的设备的一个实施例的示意框图；
图3是示出了用于管理音频读出和可视通知的设备的另一实施例的示意框图；
图4是示出了用于管理音频读出和可视通知的方法的一个实施例的示意流程图；
图5是示出了用于基于环境噪声等级来管理音频读出和可视通知的方法的一个实施例的示意流程图；以及
图6是示出了用于基于传感器数据来管理音频读出和可视通知的方法的一个实施例的示意流程图。
具体实施方式
如本领域的技术人员所了解到的，实施例的方面可以体现为系统、方法、或者程序产品。因此，实施例可以采取如下形式：完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或者将在本文中一般都可以被称为“电路”、“模块”、或者“系统”的软件方面和硬件方面组合在一起的实施例。此外，实施例可以采取程序产品的形式，该程序产品体现为一个或者多个计算机可读存储装置，该一个或者多个计算机可读存储装置存储机器可读代码、计算机可读代码、和/或程序代码，以下将其简称为代码。存储装置可以是有形的、非暂时性的、和/或非传输的。存储装置可以不包含信号。在某些实施例中，存储装置仅仅采用用于访问代码的信号。
在本说明书中描述的许多功能单元已经被标记为模块，以更具体地强调其实施独立性。例如，模块可以被实施为硬件电路，该硬件电路包括定制VLSI电路或者门阵列、诸如逻辑芯片的现有半导体、晶体管、或者其它离散组件。模块也可以被实施在可编程硬件装置中，诸如，现场可编程门阵列、可编程阵列逻辑、可编程逻辑装置等。
也可以用由各种类型的处理器执行的代码和/或软件来实施模块。识别到的代码模块可以，例如，包括一个或者多个物理或者逻辑可执行代码块，该一个或者多个物理或者逻辑可执行代码块可以，例如，被组织为对象、过程、或者函数。然而，识别到的模块的可执行体不需要在物理上位于一起，而是可以包括存储在不同位置中的不同的指令，当该不同的指令在逻辑上被连接在一起时，其包括模块并且实现对模块的陈述目的。
事实上，代码模块可以是单个指令、或者许多指令，并且甚至可以分布在若干不同的代码段上、分布在不同的程序中、并且跨若干存储装置分布。相似地，操作数据在本文中可以在模块内被识别和示出，并且可以按照任何合适的形式被体现，并且被组织在任何合适的类型的数据结构内。操作数据可以作为单个数据集被采集，或者可以分布在不同的位置上，包括在不同的计算机可读存储装置上。在模块或者模块的部分被实施在软件中的情况下，将软件部分存储在一个或者多个计算机可读存储装置上。
可以利用一个或者多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读存储介质。计算机可读存储介质可以是存储代码的存储装置。存储装置可以是，例如，但不限于，电子、磁、光学、电磁、红外线、全息、微机械、或者半导体系统、设备、或者装置、或者上述的任何合适的组合。
存储装置的更具体的示例(非详尽的清单)包括以下：具有一条或者多条线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或者闪存)、便携式压缩盘只读存储器(CD-ROM)、光学存储装置、磁存储装置、或者上述的任何合适的组合。在该文件的场境下，计算机可读存储介质可以是任何有形介质，该任何有形介质可以包含或者存储由指令执行系统、设备、或者装置使用或者与该指令执行系统、设备、或者装置结合使用的程序。
按照一种或者多种编程语言的任何组合来编写用于执行实施例的操作的代码，该一种或者多种编程语言包括：诸如Python、Ruby、Java、Smalltalk、C++等的面向对象编程语言、诸如“C”编程语言等的常规程序编程语言、和/或诸如汇编语言的机器语言。代码可以全部在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包部分在用户的计算机上执行并且部分在远程计算机上执行，或者全部在远程计算机或者服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接至用户的计算机，该任何类型的网络包括局域网(LAN)或者广域网(WAN)，或者建立至外部计算机的连接(例如，通过使用互联网服务提供商来经由互联网)。
贯穿本说明书，对“一个实施例”、“实施例”、或者相似的语言的提及是指结合该实施例描述的特定特征、结构或者特性被包括在至少一个实施例中。因此，贯穿本说明书，短语“在一个实施例中”、“在实施例中”、和相似的语言的出现可能并不一定全部指相同的实施例，而是指“一个或者多个实施例，但不是全部的实施例”，除非另有明确规定。术语“包括(including)”、“包括(comprising)”、“具有”、和其变型意为“包括但不限于”，除非另有明确规定。项的枚举列表并不意味着项中的任何一个或者全部相互排斥，除非另有明确规定。术语“一个(a)”、“一个(an)”、和“该”也指“一个或者多个”，除非另有明确规定。
此外，可以按照任何合适的方式组合实施例的所描述的特征、结构、或者特性。在以下描述中，提供了许多具体细节诸如编程、软件模块、用户选择、网络事务、数据库查询、数据库结构、硬件模块、硬件电路、硬件芯片等示例，以提供对实施例的透彻理解。然而，相关领域中的技术人员要意识到，可以在没有具体细节中的一个或者多个的情况下或者利用其它方法、组件、材料等来实践实施例。在其它情况下，未详细地示出或者描述已知结构、材料、或者操作以避免使实施例的方面模糊。
下面参照根据实施例的方法、设备、系统和程序产品的示意流程图和/或示意框图来描述实施例的方面。要理解，可以通过代码实施示意流程图和/或示意框图的每个框以及在示意流程图和/或示意框图中的框的组合。这些代码可以被提供至通用计算机和专用计算机的处理器、或者其它可编程数据处理设备以产生机器，从而使经由计算机的处理器或者其它可编程数据处理设备执行的指令创建用于在示意流程图和/或示意框图的(多个)框中指定的功能/动作的构件。
也可以将代码存储在存储装置中，该存储装置可以指示计算机、其它可编程数据处理设备、或者其它装置以特定方式运行，从而使存储在存储装置中的指令产生制品，该制品包括实施在示意流程图和/或示意框图的(多个)框中指定的功能/动作的指令。
代码也可以被加载到计算机、其它可编程数据处理设备、或者其它装置上，使得在计算机、其它可编程数据处理设备、或者其它装置上执行一系列的操作步骤以生成计算机所实施的过程，从而使在计算机或者其它可编程数据处理设备上执行的代码提供用于实施在示意流程图和/或示意框图的(多个)框中指定的功能/动作的过程。
附图中的示意流程图和/或示意框图示出了根据各种实施例的设备、系统、方法、和程序产品的可能的实施方式的架构、功能、和操作。在这方面，在示意流程图和/或示意框图中的每个框可以表示包括用于实施(多种)指定逻辑功能的代码的一个或者多个可执行指令的模块、段、或者代码部分。
还应该注意，在某些替代实施方式中，在框中指出的功能可能不会按照附图中所指出的顺序发生。例如，根据所涉及的功能，连续地示出的两个框实际上可以大体上同时被执行或者有时可以按照相反的顺序被执行。可以设想，其它步骤和方法在功能、逻辑、或者效果方面对所示的附图的一个或者多个框或者其部分而言是等同物。
虽然在流程图和/或框图中可以采用各种箭头类型和线类型，但是不应该将它们理解为是对对应实施例的范围的限制。事实上，可以仅仅使用某些箭头或者其它连接物来指示所描绘的实施例的逻辑流程。例如，箭头可以指示在所描绘的实施例的枚举步骤之间的未指定的持续时间的等待或者监控时期。也要注意，可以通过执行指定功能或者动作的专用的基于硬件的系统、或者专用硬件和代码的组合实施框图和/或流程图的每个框、以及在框图和/或流程图中的框的组合。
对在每个附图中的元件的描述可以指继续该附图的元件。在所有附图中，相同的数字指相同的元件，包括相同的元件的替代实施例。
图1是示出了根据本公开的实施例的用于管理音频读出和可视通知的系统100的示意框图。系统100包括电子装置105。在一个实施例中，电子装置105包括处理器110、存储器115、通知模块120、输入装置125、音频输出装置130、和显示装置135，这些装置经由计算机总线140彼此通信地耦合。
电子装置105可以是能够呈现音频读出和可视通知的任何数字装置，包括但不限于：通用计算装置、专用(专用型)计算装置等。在某些实施例中，电子装置105可以是个人计算机，包括但不限于：移动电话、智能电话、平板计算机、膝上型计算机、手持式计算机、可穿戴计算机、台式计算机、游戏控制台等。
在一个实施例中，处理器110可以包括能够执行计算机可读指令并且/或者能够执行逻辑操作的任何已知的控制器。例如，处理器110可以是微控制器、微处理器、中央处理单元(CPU)、图形处理单元(GPU)、辅助处理单元、FPGA、或者相似的可编程控制器。在某些实施例中，处理器110可以包括多个处理单元，诸如，多个处理核心、多个CPU、多个微控制器等。在某些实施例中，处理器110执行存储在存储器115中的、用于执行本文所描述的方法和例程的指令。处理器110通信地耦合至存储器115、通知模块120、输入装置125、音频输出装置130、和显示装置135。
在一个实施例中，存储器115是计算机可读存储介质。在某些实施例中，存储器115包括易失性计算机存储介质。例如，存储器115可以包括随机存取存储器(RAM)，包括动态RAM(DRAM)、同步动态RAM(SDRAM)、和/或静态RAM(SRAM)。在某些实施例中，存储器115包括非易失性计算机存储介质。例如，存储器115可以包括硬盘驱动器、闪存、或者任何其它合适的非易失性计算机存储装置。在某些实施例中，存储器115包括易失性和非易失性计算机存储介质。
在一个实施例中，通知模块120被配置为将音频读出呈现给用户。例如，通知模块120可以控制音频输出装置130以呈现音频读出。通知模块120可以进一步被配置为确定用户关注状态，诸如，感兴趣的状态、分心的状态、或者既不是感兴趣也不是分心的的中立状态。基于确定的用户关注状态，通知模块120可以继续呈现音频读出，可以暂停音频读出，并且/或者可以在与音频读出对应的可视通知上呈现可视提示。
在一个实施例中，通知模块120响应于用户关注状态是用户感兴趣的状态，在与音频读出对应的可视通知中呈现可视提示。例如，通知模块120可以控制显示装置135以显示可视提示和可视通知。可以通过用户正拿着电子装置105和/或正看着显示装置135来确定用户感兴趣的状态。在一个实施例中，可视提示可以指示在可视通知中与音频读出的当前位置对应的位置。在另一实施例中，可视提示可以指示在可视通知中与音频读出的最后呈现的部分对应的位置。
在某些实施例中，通知模块120可以响应于确定用户关注状态是分心的状态来暂停音频读出。例如，如果环境噪声等级超过一定阈值，则由于用户正被环境噪声分心并且/或者因环境噪声而无法听到音频读出，通知模块可以暂停音频读出。在进一步的实施例中，通知模块120可以响应于用户关注状态不再是分心的状态来恢复音频读出。例如，如果环境噪声等级低于可听阈值达阈值时间量，那么通知模块120可以恢复音频读出。在这种实施例中，通知模块120通过只有当噪声等级下降至可听等级达持续的时间段(例如，2-3秒)时才恢复音频读出，来防止过早地恢复音频读出，在过早地恢复音频读出的情况下，噪声等级波动。
在某些实施例中，通知模块120可以确定用户是否正拿着电子装置105并且然后确定用户是否正看着显示装置135。响应于用户正拿着电子装置105并且正看着显示装置135，通知模块120可以呈现可视提示和可视通知，并且也可以抓住呈现音频读出的时机。下面特别通过参照图2和图3来讨论通知模块120的进一步的细节和能力。通知模块120可以包括硬件电路、在处理装置上运行的程序代码、或者硬件电路和程序代码的组合。
在一个实施例中，输入装置125可以包括任何已知的计算机输入装置，包括触摸屏、按键、键盘等。进一步地，输入装置125可以包括麦克风或者用于接收可听输入的其它装置。在某些实施例中，输入装置125可以包括用于接收压力数据、温度数据、加速度数据、接近度数据、图像数据等的各种传感器。例如，输入装置125可以包括接近传感器(例如，光电传感器或者电容式传感器)、温度传感器(例如，热电偶或者红外线传感器)、压力传感器、加速器、摄像头等中的一个或者多个。
在某些实施例中，输入装置125可以与显示装置135集成。例如，输入装置125和显示装置135可以组合为触摸屏或者相似的触摸敏感显示器。在某些实施例中，输入装置125包括两个或者更多个不同的装置，诸如，触控面板和摄像头(或者其它传感器)。
在一个实施例中，音频输出装置130可以包括能够将可听声音输出至用户的任何已知的装置。具体地，音频输出装置130可以包括扬声器、话音合成器等。音频输出装置130可以接收例如来自处理器110、存储器115、和/或通知模块120的音频读出，其中，音频输出装置130将音频读出呈现为可听声音。
在一个实施例中，显示装置135可以包括能够将可视数据输出至用户的任何已知的电子显示器。例如，显示装置135可以是LCD显示器、LED显示器、OLED显示器、投影仪、或者能够将图像、文本、和其它可视数据输出至用户的相似的显示装置。在某些实施例中，显示装置135可以与输入装置125集成，例如，作为触摸屏或者相似的触摸敏感显示器。
在一个实施例中，显示装置135可以包括外部显示器，该外部显示器虽然在物理上仍然独立于电子装置105的剩余部分，但通信地耦合至其。例如，显示装置135可以包括智能手表、智能电话、平板计算机、电视机、智能眼镜、虚拟现实的护目镜、可穿戴显示器、或者通信地耦合至电子装置105的其它电子显示器。显示装置135可以接收来自处理器110和/或来自通知模块120的数据以进行显示。
图2描绘了根据本公开的实施例的包括通知模块120的通知设备200。上面可以参照图1大体上描述了通知模块120。进一步地，如图所示，通知模块120可以包括读出模块205、关注状态模块210、和可视提示模块215。模块205-215和305-355可以彼此通信耦合。通知模块120可以包括硬件电路、在处理装置上运行的程序代码、或者硬件电路和程序代码的组合。
在一个实施例中，读出模块205经由电子装置105将音频读出呈现给用户。具体地，读出模块205可以控制音频输出装置130以呈现音频读出。在一个实施例中，音频读出与通知对应。例如，电子装置105可以接收诸如输入消息、对查询的响应等的通知，其中，音频读出与接收到的通知对应。可以从在电子装置105上执行的应用接收通知。
在某些实施例中，读出模块205可以响应于用户命令来呈现音频读出。例如，电子装置105可以提醒用户是否读出接收到的通知，其中，读出模块205可以响应于对该提醒的肯定响应来呈现音频读出。在其它实施例中，读出模块205可以响应于电子装置105正处于音频读出模式下来自动呈现音频读出(例如，无需等待用户命令)。例如，用户可以将电子装置105置于免提模式下，并且读出模块205在处于音频读出模式下时可以响应于接收到通知来自动呈现与传入的通知对应的音频读出。
在一个实施例中，读出模块205可以响应于来自关注状态模块210的指示来暂停音频读出。例如，如下面进一步详述的，用户关注状态模块210可以确定用户是否分心，并且当用户分心时，读出模块205可以暂停音频读出。响应于用户关注状态模块210确定用户不再是分心的，读出模块205可以恢复音频读出。
在另一实施例中，读出模块205可以响应于可视提示模块215正在呈现可视提示来终止音频读出。例如，可视提示模块215可以响应于呈现可视提示来触发从音频读出模式中退出，其中，读出模块205响应于触发来中止呈现音频读出。读出模块205可以包括硬件电路、在处理装置上运行的程序代码、或者硬件电路和程序代码的组合。
在一个实施例中，关注状态模块210确定用户关注状态。如本文所使用的，“用户关注状态”是指预测的用户针对通知的感兴趣的状态或者关注状态。例如，关注状态模块210可以确定用户的关注状态是感兴趣的状态(例如，用户感兴趣的状态)或者分心的状态(例如，用户分心的状态)。作为另一示例，关注状态模块210可以确定用户的关注状态是中立状态——既不是感兴趣的状态，也不是分心的状态。在某些实施例中，关注状态模块210通过收集传感器输入并且将传感器输入与一个或者多个关注状态阈值进行比较，来确定用户关注状态。
在一个实施例中，关注状态模块210接收指示用户是否正拿着电子装置的传感器数据。已经接收到指示用户是否正拿着电子装置的传感器数据后，在一个实施例中，关注状态模块210响应于用户正拿着电子装置来将用户关注状态确定为用户感兴趣的状态。可以从以下中的一个或者多个接收指示用户是否正拿着电子装置的传感器数据：接近传感器(例如，光电传感器或者电容式传感器)、温度传感器(例如，热电偶或者红外线传感器)、压力传感器、加速器、摄像头等。
例如，关注状态模块210可以接收来自电子装置105的主体的表面的温度数据和/或压力，并且响应于温度数据和/或压力数据超过阈值来确定电子装置105正被拿着。作为另一示例，关注状态模块210可以接收指示用户是否正拿着电子装置105的陀螺仪数据和/或加速度数据。在又一示例中，关注状态模块210可以接收诸如来自电容式传感器的指示用户是否正拿着电子装置105的接近度数据。更进一步地，关注状态模块210可以接收不同类型的数据(例如，压力数据、温度数据、加速度数据、接近度数据等)的组合，并且基于组合的数据来确定电子装置105是否正被用户拿着。
在进一步的实施例中，关注状态模块210可以响应于将用户关注状态设置为用户感兴趣的状态来监控用户关注状态的变化。例如，响应于用户正表现出的兴趣(例如，响应于关注状态模块210将用户关注状态确定为用户感兴趣的状态)用户可能会瞥一眼呈现的可视通知，但是用户可能很快就会移开目光。因此，关注状态模块210可以将用户关注状态确定为不再是用户感兴趣的状态，而是分心的状态或者中立状态(例如，既不专注也不分心)。在一个实施例中，关注状态模块210可以响应于用户在先前拿着和/或看着电子装置105之后将目光从电子装置105移开(例如，表现出不感兴趣)，来用信号通知可视提示模块215移除可视提示和/或可视通知。在进一步的实施例中，在响应于用户关注状态是感兴趣的状态(例如，响应于用户正看着电子装置105)而暂停音频读出的情况下，可选地在提醒用户是否继续音频读出之后，读出模块205可以恢复音频读出。
在某些实施例中，关注状态模块210接收指示在电子装置105处的环境噪声等级的传感器数据。例如，关注状态模块210可以接收来自麦克风的音频输入。作为另一示例，关注状态模块210可以通过使用输入装置125来测量噪声等级，其中，输入装置125包括麦克风、噪声计、或者用于测量环境噪声等级的其它装置。在已经接收到指示电子装置105的环境噪声等级的数据之后，关注状态模块210可以将接收到的数据与一个或者多个噪声等级阈值进行比较。
在一个实施例中，关注状态模块210可以将测量得到的环境噪声等级与不可听状态阈值进行比较，该不可听状态阈值与正常对话(例如，正常语音等级的对话)对用户而言变得不可听的噪声等级对应。可以预设和/或可由用户调整不可听状态阈值。响应于环境噪声等级超过不可听状态阈值，关注状态模块210可以将用户关注状态确定为用户分心的状态。
在另一实施例中，关注设置模块210将测量得到的环境噪声等级与可听状态阈值进行比较，其中，可听状态阈值低于不可听状态阈值。可听状态阈值与对话(例如，正常语音等级)对用户而言是可听的噪声等级对应。可听状态阈值可以以足够的程度低于不可听状态阈值，以许可不费力地对话。也可以预设和/或可由用户调整可听状态阈值。响应于环境噪声等级低于可听状态阈值，关注状态模块210可以将用户关注状态确定为不再是用户分心的状态。例如，关注状态模块210可以响应于环境噪声等级低于可听状态阈值(例如，在首先超过不可听状态阈值之后)，来将用户关注状态确定为中立状态。
在其它实施例中，关注状态模块210可以接收指示用户是否正看着电子装置105的用户图像数据。例如，关注状态模块210可以接收来自诸如在输入装置125内的摄像头的摄像头的图像数据。基于图像数据，关注状态模块210可以确定用户是否正看着电子装置105。例如，摄像头可以是前置摄像头，并且关注状态模块210可以执行眼睛追踪和/或凝视检测，以确定用户是否正看着电子装置105。响应于用户正看着电子装置105，关注状态模块210可以确定用户关注状态是用户感兴趣的状态。
在已经确定了用户关注状态之后，关注状态模块210将确定的用户关注状态指示给读出模块205和/或可视提示模块215。读出模块205和/或可视提示模块215可以响应于接收到用户关注状态来执行具体动作。例如，读出模块205可以响应于关注状态模块210将用户关注状态指示为用户分心的状态来中止呈现音频读出。作为另一示例，可视提示模块215可以响应于关注状态模块210将用户关注状态指示为用户感兴趣的状态，来在显示装置135上呈现可视提示。
在一个实施例中，关注状态模块210将确定的用户关注状态传输至读出模块205和/或可视提示模块215。在另一实施例中，关注状态模块210可以将用户关注状态存储到存储器115中的位置，其中，读出模块205和/或可视提示模块215可以从存储器115中的位置检索用户关注状态。在又一实施例中，关注状态模块210可以设置一个或者多个标记以指示确定的用户关注状态。关注状态模块210可以包括硬件电路、在处理装置上运行的程序代码、或者硬件电路和程序代码的组合。
在一个实施例中，可视提示模块120响应于用户关注状态是用户感兴趣的状态来在可视通知中呈现可视提示，其中，可视通知与音频读出对应。在一个实施例中，音频读出是通知的可听实施例，并且可视通知是相同的通知的可显示实施例。例如，通知可以是传入的消息，其中，可视通知是消息的可视组件(例如，文本和可选的图像)，并且音频读出是消息的文本至语音转换(例如，读取该通知的计算机生成的话音)。
在从在电子装置105上运行的具体应用接收到通知的情况下，可视提示模块215可以打开该应用的窗口，该窗口显示从具体应用接收到的通知。可视提示模块215然后可以在窗口内显示可视提示，该可视提示标记从具体应用接收到的通知。在一个示例中，可视提示指示音频读出的当前位置，其中，音频读出与从具体应用接收到的通知对应。
在某些实施例中，可视提示指示在可视通知中与音频读出的当前位置对应的位置。例如，通知可以包括多个单词、字符、行、句子、段落等，其中，可视提示指示当前在音频读出中读取的单词、字符、行、句子、段落等。在某些实施例中，当继续呈现(读出)音频读出时，可视提示继续。
可视提示可以是被配置为将用户的注意力吸引到在可视通知中与音频读出的当前位置对应的位置的任何提示。在一个非限制性示例中，可视提示可以是与音频读出的当前呈现的部分对应的高亮显示的单词、字符、行、句子、段落等。作为另一非限制性示例，可以使可视通知的已读部分淡化或者灰化，而可视通知的未读部分可以是正常字体颜色(例如，未变淡的)。上述示例是说明性的，并不用于限制可视提示的范围。
在某些实施例中，可视提示模块215响应于用户关注状态是用户感兴趣的状态来呈现可视通知。例如，通知可以是在电子装置105处于音频读出模式下时接收到的传入的消息。因此，电子装置105可以在不显示消息的可视组件的情况下读出该消息(例如，呈现与该消息对应的音频读出)。可替代地，电子装置105可以读出消息，而将可视组件显示在用户界面的背景中或者在用户界面内的大小减小的窗口中。
响应于关注状态模块确定用户关注状态是用户感兴趣的状态(例如，由于用户正拿起电子装置105、正看着电子装置105等)，可视提示模块215可以显示消息的可视组件，在前景窗口中显示可视组件，并且/或者扩大显示可视组件的窗口(例如，可视通知)。进一步的，可视提示模块215在消息的可视组件中显示可视提示，该可视提示指示与音频读出的当前位置对应的位置。可视提示模块215可以包括硬件电路、在处理装置上运行的程序代码、或者硬件电路和程序代码的组合。
在某些实施例中，可视提示模块215可以在通信地耦合至电子装置105的外部装置上呈现可视通知。例如，电子装置105可以是连接(例如，经由有线连接或者无线连接)至外部装置的智能电话、平板计算机、膝上型计算机等。外部装置可以是在包括电子显示器的电子装置105的外部的任何装置。外部装置的示例包括但不限于：智能手表、可穿戴显示器、电视机等。在进一步的实施例中，可视提示模块215可以在显示在外部装置上的可视通知上呈现可视提示。
在一个实施例中，可视提示模块215可以响应于用户正关注外部装置(例如，用户正看着无线连接至外部装置105的智能手表)，来在显示在外部装置上的可视通知上呈现可视提示。在另一实施例中，当用户关注状态是中立状态时，可视提示模块215可以在外部装置上呈现作为默认动作的可视通知和/或可视提示。
模块205-215允许通知模块120将音频读出呈现给用户，以确定用户关注状态，并且响应于用户关注状态是感兴趣的状态，在与音频读出对应的可视通知中呈现可视提示。例如，关注状态模块210可以响应于诸如用户正拿着电子装置105和/或正看着电子装置105)的某些预定提示，来确定用户关注状态是感兴趣的状态。响应于用户感兴趣，可视提示模块215在可视通知上呈现可视提示。在某些实施例中，音频读出模块205可以响应于可视提示模块215正呈现可视提示来终止音频读出。在其它实施例中，音频读出模块205可以在可视提示模块215呈现可视提示时继续呈现音频读出。例如，可视提示模块215可以调整可视提示的位置，使得可视提示随着音频读出的进行追踪音频读出的当前位置。
图3描绘了根据本公开的实施例的包括通知模块120的通知设备300。上面可以参照图1和图2大体上描述了通知模块120。如图所示，通知模块120可以包括读出模块205、关注状态模块210、和可视提示模块215。通知模块120可以进一步包括概述模块305、提醒模块310、安全模块315、读出模式模块320、语音合成模块325、回放模块330、用户掌握情况模块335、用户凝视情况模块340、噪声模块345、可视位置模块350、和可视通知模块355。模块205-215和305-355可以彼此通信耦合。通知模块120可以包括硬件电路、在处理装置上运行的程序代码、或者硬件电路和程序代码的组合。
在一个实施例中，概述模块305被配置为生成接收到的通知的概述读出。在某些实施例中，接收到的通知可能比阈值长度更长。概述模块305可以进一步被配置为确定接收到的通知的长度。响应于通知超过阈值长度，概述模块305可以生成接收到的通知的概述读出。
在一个实施例中，概述模块305响应于接收到的通知超过阈值长度，来控制提醒模块310提醒用户是否呈现接收到的通知的概述读出。用户对该提醒做出肯定响应(例如，指示出对概述读出的期望)，概述模块305可以生成接收到的通知的概述读出，其中，读出模块205将概述读出呈现给用户。
在另一实施例中，概述模块305可以响应于接收到的通知超过阈值长度来自动生成概述读出。概述模块305可以进一步自动用信号通知读出模块205以呈现概述读出。在读出模块205完成呈现概述读出之后，提醒模块310然后可以提醒用户是否呈现整个通知(例如，接收到的通知的完整版本)。
在某些实施例中，概述模块305进一步被配置为生成对先前呈现给用户的音频读出的部分的概述。例如，如果读出模块205必须暂停音频读出(例如，响应于环境噪声等级超过阈值、响应于更高优先权的传入的通知、或者响应于用户命令)，那么概述模块305可以生成对已经呈现的音频读出的部分的概述。将对已经呈现的音频读出的部分的概述设计为向用户给出上下文，从而刷新用户对已经呈现的音频读出的部分的记忆。概述模块305可以包括硬件电路、在处理装置上运行的程序代码、或者硬件电路和程序代码的组合。
在一个实施例中，提醒模块310被配置为提醒用户是否呈现通知的音频读出。提醒模块310可以进一步收听来自用户的响应。在一个实施例中，用户可以做出肯定响应或者否定响应。在另一实施例中，用户可以对用户命令做出响应，例如，呈现音频读出的命令。基于用户响应，提醒模块310可以控制读出模块205以呈现音频读出。
在某些实施例中，提醒模块310可以提醒用户是否呈现对接收到的通知的概述。例如，如果接收到的通知是冗长的(例如，大于阈值量)，那么提醒模块310可以询问用户是否要呈现接收到的通知的概述版本或者接收到的通知的完整版本。响应于用户指示出对概述版本的期望，提醒模块310可以控制概述模块305以生成对接收到的通知的概述，并且然后可以控制读出模块205以呈现与接收到的通知的概述版本对应的音频读出。否则，响应于用户指示出对完整版本的期望，提醒模块310可以控制读出模块205以呈现与接收到的通知的完整版本对应的音频读出。
在另一实施例中，提醒模块310可以响应于读出模块205呈现通知的概述读出，来提醒用户是否呈现接收到的通知的完整版本。例如，在接收到的通知超过阈值长度的情况下，概述模块305可以自动生成概述读出(与接收到的通知的概述版本对应)，并且读出模块205可以呈现该概述读出。在读出模块205已经呈现了概述读出之后，提醒模块310可以提醒用户是否呈现接收到的通知的完整版本。响应于对提醒的肯定响应(例如，指示出用户对完整版本的期望的响应)，提醒模块310可以控制读出模块205以呈现与接收到的通知的完整版本对应的音频读出。
在某些实施例中，提醒模块310可以响应于读出模块205恢复音频读出，来提醒用户是否呈现对音频读出的已读部分的概述。例如，读出模块205可以暂停音频读出并且然后稍后恢复音频读出，其中，提醒模块310可以提醒用户是否呈现对音频读出的已读部分的概述。如果用户做出肯定响应，那么提醒模块310可以控制概述模块305以生成对音频读出的已读部分的概述，并且然后控制读出模块205以在恢复音频读出之前在音频读出被暂停的点处呈现概述。
在一个实施例中，提醒模块310可以提醒用户是否进入音频读出模式。响应于来自用户的肯定响应，提醒模块310可以控制读出模式模块320以开始读出模式。提醒模块310可以包括硬件电路、在处理装置上运行的程序代码、或者硬件电路和程序代码的组合。
在一个实施例中，安全模块315控制对电子装置105的访问。在一个实施例中，安全模块315被配置为响应于未授权用户正拿着电子装置105和/或正看着显示装置130，来限制对电子装置105的访问。安全模块315可以接收例如来自前置摄像头的图像数据，并且对该图像数据进行分析以识别正拿着电子装置105的用户。在一个实施例中，安全模块315可以利用面部识别例程来确定正拿着电子装置105的用户是否是电子装置105的授权用户。
响应于正拿着电子装置105的用户是授权用户，安全模块315可以允许对电子装置105的访问。例如，安全模块315可以允许读出模块205继续呈现音频读出。在进一步的示例中，安全模块315也可以允许显示装置135显示与音频读出对应的可视通知，并且/或者允许可视提示模块215在可视通知内呈现可视提示。
然而，安全模块315可以响应于正拿着电子装置105的用户不是授权用户来限制对电子装置的访问。例如，如果正拿着电子装置105的用户不是授权用户，则安全模块315可以使读出模块205暂停和/或终止音频读出。在进一步的示例中，安全模块315也可以锁定电子装置105的屏幕，从而防止未授权用户查看可视通知。在某些实施例中，响应于正拿着电子装置105的用户不是授权用户，安全模块315可以防止显示可视通知和在可视通知内呈现可视提示。
在某些实施例中，安全模块315响应于未授权用户正拿起电子装置105来限制未授权用户对电子装置105的访问。在其它实施例中，安全模块315响应于未授权用户正拿起电子装置105并且正看着显示装置130，来限制未授权用户对电子装置105的访问。安全模块315可以包括硬件电路、在处理装置上运行的程序代码、或者硬件电路和程序代码的组合。
在一个实施例中，读出模式模块320控制电子装置105的读出模式。在一个实施例中，读出模式模块320响应于用户命令将电子装置105置于读出模式下。在另一实施例中，读出模式模块320可以响应于电子装置105正处于特定位置中(例如，在家中、在工作、在车里等)并且/或者响应于一天中的时间，来将电子装置105置于读出模式下。读出模式模块320包括硬件电路、在处理装置上运行的程序代码、或者硬件电路和程序代码的组合。
如本文所使用的，“读出模式”指电子装置105的免提模式，其中，电子装置按照可听格式(例如，音频读出)将信息呈现给用户，以及其中，用户经由语音命令与电子装置105交互。因此，当电子装置105不在读出模式下时，对于人机交互而言不需要显示装置130。然而，在某些实施例中，电子装置105在处于读出模式下时可以使用显示装置130来将补充信息(例如，一天中的时间、电量指示、信号强度计等)被动地呈现给用户。
在一个实施例中，读出模式模块320可以将电子装置105设置为读出模式，其中，当电子装置105处于读出模式时，读出模块205经由音频读出将任何新的通知呈现给用户。例如，读出模块205可以生成和呈现与诸如电子邮件消息、文本消息、SMS消息等的最新接收到的消息对应的音频读出。作为另一示例，用户可以查询电子装置105，并且电子装置105可以响应于用户查询来返回通知，其中，读出模块205可以自动生成和呈现与对用户查询的响应对应的音频读出。
在某些实施例中，读出模式模块320可以响应于用户正拿着和正看着显示装置130来使电子装置105退出读出模式。例如，当电子装置105处于读出模式时，用户可能会变得对经由音频读出呈现的通知感兴趣。因此，用户可以拿起并且看着电子装置105。关注状态模块210可以解释这些动作，并且确定用户关注状态是用户感兴趣的状态，其中，可视提示模块215可以呈现可视提示。进一步地，读出模式模块320可以响应于关注状态模块210确定用户关注状态是用户感兴趣的状态，来使电子装置105从读出模式退出。在一个实施例中，当用户正拿着电子装置105但没有看着电子装置105时，读出模式模块320可以将电子装置105维持在读出模式下。
在某些实施例中，读出模式模块320可以响应于环境噪声等级高于阈值达预定时间帧，来使电子装置105退出读出模式。例如，噪声模块345可以监控环境噪声等级，并且确定环境噪声等级已经超过阈值等级达预定时间帧，从而指示环境噪声正阻止用户收听和/或理解音频读出。作为响应，噪声模块345可以用信号通知读出模式模块320退出读出模式，可视提示模块215可以在与音频读出对应的可视通知上呈现可视提示，该可视提示被呈现在与音频读出的最后呈现的部分对应的位置处。
在一个实施例中，语音合成模块325根据接收到的通知生成音频读出。例如，语音合成模块325可以使用文本转语音例程来将接收到的通知的文本部分转换为音频读出。在一个实施例中，语音合成模块325可以生成对接收到的通知的概述的音频读出。例如，如果接收到的通知超过一定长度，则概述模块305可以创建对接收到的通知的概述，并且语音合成模块325可以根据该概述生成音频读出。
语音合成模块325可以包括硬件电路、在处理装置上运行的程序代码、或者硬件电路系统和程序代码的组合。如所示，语音合成模块325可以是读出模块205的组件。例如，语音合成模块325可以是读出模块205的硬件组件。作为另一示例，语音合成模块325可以是读出模块205的子例程。然而，在其它实施例中，语音合成模块325可以是通信地耦合至读出模块205的独立组件。
在一个实施例中，回放模块330被配置为控制音频读出的回放。例如，回放模块330可以响应于用户命令来开始播放音频读出。作为另一示例，回放模块330可以响应于接收到通知来开始自动播放音频读出，该音频读出与接收到的通知对应。
在某些实施例中，回放模块330基于电子装置105是否处于音频读出模式来控制音频读出的回放。在一个实施例中，回放模块330可以响应于电子装置105处于音频读出模式来自动播放音频读出。在另一实施例中，回放模块330可以响应于电子装置105退出音频读出模式来自动停止音频读出。
在某些实施例中，回放模块330可以响应于关注状态模块210确定用户关注状态是用户分心的状态来暂停音频读出。例如，回放模块330可以响应于环境噪声等级超过不可听状态阈值来暂停音频读出，环境噪声等级指示用户由于环境噪声而被分心并且/或者无法关注音频读出。在一个实施例中，回放模块330可以响应于关注状态模块210稍后确定用户关注状态不再是用户分心的状态来恢复音频读出。例如，回放模块330可以响应于环境噪声等级下降到低于可听状态阈值来恢复音频读出。
在某些实施例中，回放模块330确定音频读出的当前位置。例如，回放模块330可以追踪音频读出的当前位置，以便在停止读出的位置处恢复音频读出。进一步地，回放模块330可以识别音频读出的已经呈现的部分，其中，当音频读出恢复时，概述模块305可以创建对音频读出的已经呈现的部分的概述。
回放模块330可以包括硬件电路、在处理装置上运行的程序代码、或者硬件电路系统和程序代码的组合。如所示，回放模块330可以是读出模块205的组件。例如，回放模块330可以是读出模块205的硬件组件。作为另一示例，回放模块330可以是读出模块205的子例程。然而，在其它实施例中，回放模块330可以是通信地耦合至读出模块205的独立组件。
在一个实施例中，用户掌握情况模块335确定用户是否正拿着电子装置105。例如，用户掌握情况模块335可以包括确定电子装置105是否正被用户掌握的硬件和/或软件。在某些实施例中，用户掌握情况模块335接收指示用户是否正拿着电子装置105的传感器数据。例如，电子装置105可以包括嵌入电子装置105的主体中的一个或者多个传感器，所述传感器被配置为测量电子装置105的表面处的温度和/或压力。作为另一示例，电子装置105可以测量加速度数据和/或接近度数据。基于接收到的传感器数据，用户掌握情况模块335可以确定用户是否正拿着电子装置105。
在一个实施例中，用户掌握情况模块335响应于用户正拿着电子装置105来用信号通知关注状态模块210。由于用户正拿着电子装置105，关注状态模块210然后可以确定用户关注状态是用户感兴趣的状态。然而，用户可能正拿着电子装置105，但是没有关注电子装置105的显示器。例如，用户可能正将电子装置105从一个位置移动到另一个位置。因此，用户可能不希望暂停音频读出。
因此，在另一实施例中，用户掌握情况模块335向关注状态模块210指示用户正拿着电子装置105，其中，关注状态模块210请求用户凝视情况模块340确定用户是否正看着电子装置。如果用户正拿着电子装置105并且正看着电子装置105，那么关注状态模块210可以确定用户关注状态是用户感兴趣的状态。否则，关注状态模块210可以确定用户关注状态不是用户感兴趣的状态，而是中立状态。
在一个实施例中，用户掌握情况模块335可以响应于确定用户正拿着电子装置105来触发安全模块315。安全模块315然后可以确定正拿着电子装置105的用户是否是电子装置105的授权用户，并且响应于未授权用户正拿着装置来限制对电子装置105的访问。在一个实施例中，用户掌握情况模块335和/或安全模块315可以进一步触发用户凝视情况模块340，以确定正拿着电子装置105的用户是否正看着装置。响应于未授权用户正看着装置，安全模块315可以可选地限制对电子装置105的访问，诸如，锁定屏幕、暂停/终止音频读出、阻止呈现可视通知和可视提示等。
用户掌握情况模块335可以包括硬件电路、在处理装置上运行的程序代码、或者硬件电路系统和程序代码的组合。如所示，用户掌握情况模块335可以是关注状态模块210的组件。例如，用户掌握情况模块335可以是关注状态模块210的硬件组件。作为另一示例，用户掌握情况模块335可以是关注状态模块210的子例程。然而，在其它实施例中，用户掌握情况模块335可以是通信地耦合至语音状态模块210的独立组件。
在一个实施例中，用户凝视情况模块340确定用户是否正看着电子装置105。例如，用户凝视情况模块340可以包括：确定用户的凝视相对于电子装置105的位置(例如确定用户正看向哪儿)的硬件和/或软件。在某些实施例中，用户凝视情况模块345接收来自前置摄像头的图像数据，该图像数据包括用户的面部和/或眼睛的图像。基于用户的面部和/或眼睛的位置，用户凝视情况模块340可以确定用户是否正看着电子装置105。
在某些实施例中，用户凝视情况模块340响应于用户正看着电子装置105来用信号通知关注状态模块210。由于用户正看着电子装置105，关注状态模块210然后可以确定用户关注状态是用户感兴趣的状态。此后，关注状态模块210可以用信号通知可视提示模块215，其中，由于用户正看着电子装置105(例如，如用户关注状态所指示的)，可视提示模块215可以呈现可视提示。
在一个实施例中，用户凝视情况模块340继续监控图像数据(例如，从前置摄像头接收到的)以确定用户是否正看着电子装置105。然而，在另一实施例中，用户凝视情况模块340可以仅仅响应于触发来获取图像数据(例如，请求来自前置摄像头的图像数据)。在一个实施例中，触发可以是：接近传感器确定用户在电子装置105的预定接近度内。在另一实施例中，触发可以是：用户掌握情况模块335确定用户正拿着电子装置105。
用户凝视情况模块340可以包括硬件电路、在处理装置上运行的程序代码、或者硬件电路系统和程序代码的组合。如所示，用户凝视情况模块340可以是关注状态模块210的组件。例如，用户凝视情况模块340可以是关注状态模块210的硬件组件。作为另一示例，用户凝视情况模块340可以是关注状态模块210的子例程。然而，在其它实施例中，噪声模块345可以是通信地耦合至语音状态模块210的独立组件。
在一个实施例中，噪声模块345基于环境噪声等级来确定用户关注状态。在某些实施例中，噪声模块345测量环境噪声等级，并且将测量得到的噪声等级与一个或者多个阈值进行比较。基于该比较，噪声模块345可以确定用户关注状态是否是用户分心的状态。进一步地，在已经将用户关注状态识别为用户分心的状态之后，噪声模块345可以继续监控环境噪声等级，并且将其与一个或者多个噪声阈值进行比较，以便确定用户关注状态是否返回到非分心状态。
在一个实施例中，噪声模块345可以通信地耦合至环境噪声传感器，诸如，麦克风或者噪声计。在一个实施例中，噪声模块345通过使用环境噪声传感器来测量噪声等级。在另一实施例中，噪声模块345接收由环境噪声传感器测量得到的噪声等级。如上所述，输入装置125可以包括麦克风和噪声计中的一个或者多个。噪声模块345可以对接收到的声音数据进行分析以识别环境噪声等级。
在某些实施例中，噪声模块345将环境噪声等级与不可听状态阈值进行比较。不可听状态阈值可以是与噪声等级对应的、由操作者定义的和/或用户定义的阈值，在该噪声等级中，正常音量等级的对话是不可听的和/或难以理解的。响应于环境噪声等级超过不可听状态阈值，噪声模块345可以将用户关注状态确定为用户分心的状态。关注状态模块210然后可以向读出模块205指示用户分心的状态，其中，当用户关注状态是用户分心的状态时，读出模块205暂停音频读出。
在某些实施例中，噪声模块345可以将环境噪声等级与可听状态阈值进行比较。响应于由于环境噪声等级(例如，由于环境噪声等级超过不可听状态阈值)而暂停音频读出，噪声模块345可以将环境噪声等级与可听状态阈值进行比较。因此，噪声模块345可以使用可听状态阈值来确定环境噪声等级何时被减小到足以恢复和/或重新开始音频读出。在某些实施例中，可听状态阈值是与不可听状态阈值相同的值，然而，在其它实施例中，可听状态阈值可以是具有低于不可听状态阈值的值的噪声阈值。在一个实施例中，可听状态阈值比不可听状态阈值低预定量。在另一实施例中，可听状态阈值可以比不可听状态阈值低用户定义量。
在一个实施例中，噪声模块345可以响应于环境噪声等级下降到低于可听状态阈值，来将用户关注状态确定为不再是用户分心的状态(例如，确定为中立状态)。在进一步的实施例中，噪声模块345可以响应于环境噪声等级下降到低于可听状态阈值达阈值时间量，来将用户关注状态确定为不再是用户分心的状态。可以由操作者定义和/或用户定义环境噪声等级必须低于可听状态阈值的阈值时间量。
作为一个示例，如果用户在火车站，则火车可能会经过用户附近，从而提高环境噪声等级。如超过不可听状态阈值的环境噪声等级所指示的，来自正经过的火车的环境噪声可能较大声，足以妨碍和/或阻止用户收听音频读出。因此，噪声模块345可以确定用户关注状态是由于经过的火车的噪声而导致的用户分心的状态，并且读出模块205可以暂停音频读出。
噪声模块345可以继续监控环境噪声等级(例如，以诸如每一秒钟或者每不到一秒钟的定期间隔来对环境噪声等级进行测量(取样))。在一个实施例中，只要环境噪声等级下降到低于可听状态阈值，噪声模块345就将用户状态确定为不再是分心的状态(从而触发音频读出的恢复)。然而，在火车包括多节车厢的情况下，噪声等级可能会随着每节车厢的经过而波动。因此，在另一实施例中，在将用户关注状态确定为不再是用户分心的状态(由于经过的火车)之前，噪声模块345可以等待，直到环境噪声等级下降到低于可听状态阈值达阈值时间量。
在某些实施例中，在环境噪声等级超过不可听状态阈值之后，噪声模块345可以监控时间的推移。例如，噪声模块345可以追踪噪声等级需要多长时间才能下降到低于可听状态阈值。响应于环境噪声等级保持高于可听状态阈值达预定时间帧，噪声模块345可以用信号通知电子装置105从音频读出模式退出，其中，读出模块205停止音频读出，并且可视提示模块215呈现可视提示和可视通知。
在某些实施例中，与退出音频读出模式相关联的预定时间帧可以是和如上所讨论的与恢复音频读出相关联的阈值时间量相同的时间量。然而，在其它实施例中，与退出音频读出模式相关联的预定时间帧可以是和与恢复音频读出相关联的阈值时间量不同的时间量。例如，如果环境噪声等级保持低于可听状态阈值达2秒钟，则读出模块205可以恢复音频读出，然而，如果环境噪声等级保持高于可听状态阈值达5秒钟，则噪声模块345可以用信号通知电子装置105从音频读出模式退出。在该示例中的时间量是说明性的，而不是限制性的。其它实施例可以包括更短的和/或更长的时间量。
噪声模块345可以包括硬件电路、在处理装置上运行的程序代码、或者硬件电路系统和程序代码的组合。如所示，噪声模块345可以是关注状态模块210的组件。例如，噪声模块345可以是关注状态模块210的硬件组件。作为另一示例，噪声模块345可以是关注状态模块210的子例程。然而，在其它实施例中，噪声模块345可以是通信地耦合至关注状态模块210的独立组件。
在某些实施例中，可视位置模块350将音频读出的当前位置与在可视通知中的位置相关联。例如，可视位置模块350可以追踪音频读出的当前位置，并且识别在可视通知内的对应位置。作为另一示例，响应于触发(例如，响应于关注状态模块210将用户关注状态确定为感兴趣的状态)来识别音频读出的当前位置，并且识别在可视通知内的对应位置。
在已经识别到在可视通知中与音频读出的当前位置对应的位置之后，可视位置模块350可以将在可视通知内的识别到的位置通信至可视提示模块215，其中，可视提示模块215在识别到的位置处呈现可视提示。可视位置模块350可以包括硬件电路、在处理装置上运行的程序代码、或者硬件电路系统和程序代码的组合。如所示，可视位置模块350可以是可视提示模块215的组件。例如，可视位置模块350可以是可视提示模块215的硬件组件。作为另一示例，可视位置模块350可以是可视提示模块215的子例程。然而，在其它实施例中，可视位置模块350可以是通信地耦合至可视提示模块215的独立组件。
在某些实施例中，可视通知模块355响应于关注状态模块210将用户关注状态确定为感兴趣的状态来在显示装置135上呈现可视通知。如上面所讨论的，可视通知与音频读出对应。在一个实施例中，可视通知和音频读出均基于相同的通知，诸如，传入的消息、对查询的响应等。在某些实施例中，呈现可视通知包括：生成窗口并且在其中显示可视通知，将包含可视通知的窗口带至用户界面的前台，并且/或者扩大包含可视通知的窗口。
在一个实施例中，响应于用户正拿着电子装置105来将用户关注状态确定为感兴趣的状态，其中，可视通知模块355响应于用户正拿着电子装置105来在显示装置135上呈现可视通知。在另一实施例中，响应于用户正看着电子装置105来将用户关注状态确定为感兴趣的状态，其中，可视通知模块355响应于用户正看着电子装置105来在显示装置135上呈现可视通知。在进一步的实施例中，可视通知模块355响应于用户正拿着装置并且正看着装置来在显示装置135上呈现可视通知和位置。
在某些实施例中，可视通知模块355响应于环境噪声等级高于不可听状态阈值达大于预定时间帧，也在显示装置135上呈现可视通知。例如，如果环境噪声等级超过不可听状态阈值并且不会下降到低于可听状态阈值达预定时间帧，那么电子装置105可以从读出模式退出，并且可视通知模块355可以在显示装置135上呈现可视通知。进一步地，可视提示模块215可以响应于环境噪声等级高于不可听状态阈值达大于预定时间帧，来在可视通知中呈现可视提示，该可视提示指示暂停音频读出时在可视通知中与音频读出的当前位置对应的位置。
在某些实施例中，可视通知模块355可以在通信地耦合至电子装置105的外部装置上呈现可视通知。例如，电子装置105可以是连接(例如，经由有线连接或者无线连接)至外部装置的智能电话、平板计算机、膝上型计算机等。外部装置可以是在包括电子显示器的、电子装置105的外部的任何装置。外部装置的示例包括但不限于：智能手表、可穿戴显示器、电视机等。
在一个实施例中，可视通知模块355可以响应于用户正关注外部装置(例如，用户正看着无线连接至外部装置105的智能手表)，来在外部装置上呈现可视通知。在另一实施例中，当用户关注状态是中立状态时，可视通知模块355可以在外部装置上呈现可视通知，以作为默认动作。
可视通知模块355可以包括硬件电路、在处理装置上运行的程序代码、或者硬件电路和程序代码的组合。如所示，可视通知模块355可以是可视提示模块215的组件。例如，可视通知模块355可以是可视提示模块215的硬件组件。作为另一示例，可视通知模块355可以是可视提示模块215的子例程。然而，在其它实施例中，可视通知模块355可以是通信地耦合至可视提示模块215的独立组件。
图4是示出了根据本公开的实施例的用于管理音频读出和可视通知的方法400的示意流程图。在一个实施例中，由电子装置105执行方法400。在另一实施例中，可以由通知设备200和/或300执行方法400。可替代地，可以由处理器110和诸如存储器115的计算机可读存储介质执行方法400。计算机可读存储介质可以存储在处理器110上被执行以执行方法400的功能的代码。
方法400开始并且通过使用电子装置来将音频读出呈现给用户(405)。电子装置可以是上面参照图1至图4来描述的电子装置105。在一个实施例中，读出模块205将音频读出呈现给用户(405)。在某些实施例中，将音频读出呈现给用户(405)包括：控制音频输出装置125以播放音频读出。
方法400确定用户关注状态(410)。在一个实施例中，关注状态模块210确定用户关注状态(410)。例如，关注状态模块210可以使用传感器输入来确定用户关注状态。在某些实施例中，确定用户关注状态(410)包括：处理来自多个传感器的传感器数据，以确定用户关注状态，该传感器数据包括压力数据、温度数据、接近度数据、图像数据、和/或噪声等级数据。在某些实施例中，用户关注状态可以是用户感兴趣的状态、用户分心的状态、或者既不是感兴趣也不是分心的中立状态。
方法400然后响应于用户关注状态是用户感兴趣的状态来呈现可视提示(415)。方法400结束。在一个实施例中，可视提示模块215响应于用户关注状态是用户感兴趣的状态来呈现可视提示(415)。在与音频读出对应的可视通知内呈现可视提示。在某些实施例中，可视提示指示在可视通知中与音频读出的当前位置对应的位置。在其它实施例中，可视提示指示在可视通知中与音频读出的最后呈现的位置对应的位置。
在某些实施例中，呈现可视提示(415)包括：验证正拿着(或者正看着)电子装置的用户是电子装置的授权用户。例如，安全模块315可以验证用户是授权用户，并且允许可视提示模块215响应于用户是授权用户来呈现可视提示(415)。验证用户是授权用户可以包括：捕捉用户的图像数据，并且执行面部识别以确定用户是否是授权用户。
图5是示出了根据本公开的实施例的用于管理音频读出和可视通知的方法500的示意流程图。在一个实施例中，由电子装置105执行方法500。在另一实施例中，可以由通知设备200和/或300执行方法500。可替代地，可以由处理器110和诸如存储器115的计算机可读存储介质执行方法500。计算机可读存储介质可以存储在处理器110上被执行以执行方法500的功能的代码。
方法500开始并且通过使用电子装置来将音频读出呈现给用户(505)。电子装置可以是上面参照图1至图4来描述的电子装置105。在一个实施例中，读出模块205将音频读出呈现给用户(505)。在某些实施例中，将音频读出呈现给用户(505)包括：控制音频输出装置125以回放音频读出。
方法500测量在电子装置处的环境噪声等级(510)。在一个实施例中，噪声模块345测量环境噪声等级(510)。在某些实施例中，测量环境噪声等级(510)包括：接收来自麦克风、噪声计、或者用于测量环境噪声的其他装置的数据。方法500然后确定环境噪声等级是否超过不可听状态阈值(515)。在一个实施例中，噪声模块345确定环境噪声等级是否超过不可听状态阈值(515)。
响应于环境噪声等级超过不可听状态阈值，方法500然后将用户关注状态设置为用户分心的状态(520)。在一个实施例中，关注状态模块210将用户关注状态设置为用户分心的状态(520)。否则，响应于环境噪声等级不超过不可听阈值，方法500返回测量在电子装置处的环境噪声等级(510)。
方法500响应于将用户关注状态设置为用户分心的状态(由于环境噪声等级超过不可听阈值)(520)，来监控环境噪声等级(525)。在一个实施例中，噪声模块345响应于关注状态模块210将用户关注状态设置为用户分心的状态(520)，来监控环境噪声等级(525)。在某些实施例中，监控环境噪声等级(525)包括：以定期间隔对在电子装置处的环境噪声等级进行取样，例如，每一秒钟或者每不到一秒钟进行一次取样。
此外，方法500响应于将用户关注状态设置为用户分心的状态(520)，来设置计时器(530)。在一个实施例中，噪声模块345设置计时器(530)。在某些实施例中，设置计时器(530)包括：设置预定时间量(例如，如上面参照图3所讨论的，等于预定时间帧)的计时器。
方法500确定环境噪声等级是否下降到低于可听阈值达阈值时间量(535)。在一个实施例中，噪声模块345确定环境噪声等级是否下降到低于可听阈值达阈值时间量(535)。在某些实施例中，可听阈值低于不可听阈值。在进一步的实施例中，可听阈值可以比不可听阈值低了由用户指定的量。在一个实施例中，确定环境噪声等级是否下降到低于可听阈值达阈值时间量(535)包括：设置第二计时器，以及确定直到第二计时器期满环境噪声等级是否保持低于可听状态阈值。在进一步的实施例中，响应于用户关注状态是用户分心的状态，可以设置其时间量比第一计时器更短的第二计时器。
响应于环境噪声等级下降到低于可听阈值达预定时间量，方法500然后恢复音频读出(540)。在一个实施例中，读出模块205响应于环境噪声等级下降到低于可听阈值来恢复音频读出(540)，并且方法500结束。否则，响应于环境噪声等级未下降到低于可听阈值，方法500确定是否已经过去了预定时间量(例如，计时器是否已经期满)(545)。在一个实施例中，噪声模块345确定是否已经过去了预定时间量(545)。
响应于正在过去预定时间量(例如，响应于环境噪声等级保持高于可听状态阈值达预定时间帧)，方法500在与音频读出对应的可视通知中呈现可视提示(550)，并且方法500结束。在一个实施例中，可视提示模块215响应于环境噪声等级保持高于可听状态阈值达预定时间量，来在可视通知中呈现可视提示(550)。否则，方法500返回到确定环境噪声等级是否下降到低于可听阈值达阈值时间量(535)。
图6是示出了根据本公开的实施例的用于管理音频读出和可视通知的方法600的示意流程图。在一个实施例中，由电子装置105执行方法600。在另一实施例中，可以由通知设备200和/或300执行方法600。可替代地，可以由处理器110和诸如存储器115的计算机可读存储介质执行方法600。计算机可读存储介质可以存储在处理器110上被执行以执行方法600的功能的代码。
方法600开始并且通过使用电子装置来将音频读出呈现给用户(605)。电子装置可以是上面参照图1至图4来描述的电子装置105。在一个实施例中，读出模块205将音频读出呈现给用户(605)。在某些实施例中，将音频读出呈现给用户(605)包括：控制音频输出装置125以播放音频读出。
方法600接收指示用户是否正拿着电子装置的传感器数据(610)。在某些实施例中，传感器数据可以包括压力数据、温度数据、加速度数据、接近度数据等。在一个实施例中，用户掌握情况模块335接收传感器数据(610)。
方法600基于接收到的传感器数据来确定用户是否正拿着电子装置(615)。在一个实施例中，用户掌握情况模块335基于接收到的传感器数据来确定用户是否正拿着电子装置(615)。在一个实施例中，基于接收到的传感器数据来确定用户是否正拿着电子装置(615)包括：将接收到的传感器数据与一个或者多个阈值进行比较。
响应于用户正拿着装置，方法600将用户关注状态设置为用户感兴趣的状态(620)。在一个实施例中，关注模块210响应于用户正拿着装置来将用户关注状态设置为用户感兴趣的状态(620)。否则，响应于用户没有正拿着电子装置，方法600继续呈现音频读出(655)。
方法600响应于用户关注状态是用户感兴趣的状态，来在与音频读出对应的可视通知中呈现可视提示(625)。在一个实施例中，可视提示模块210在可视通知中呈现可视提示(625)。在某些实施例中，呈现可视提示(625)包括：在显示装置135上呈现可视通知，以及在视觉上指示在可视通知内与音频读出的当前位置对应的位置。
方法600接收图像数据(630)。在一个实施例中，用户凝视情况模块340接收例如来自前置摄像头的图像数据(630)。方法600确定正拿着电子装置的用户是否是授权用户(635)。在一个实施例中，安全模块315确定授权用户是否正拿着电子装置(635)。在某些实施例中，确定正拿着电子装置的用户是否是授权用户(635)包括：分析图像数据以确定授权用户是否正拿着电子装置。
响应于确定正拿着装置的用户是电子装置的授权用户(635)，方法600确定用户是否正看着电子装置(640)。否则，响应于确定正拿着电子装置的用户不是电子装置的授权用户(635)，方法600限制对电子装置的访问(655)，并且方法600结束。在一个实施例中，安全模块315限制对电子装置的访问(655)。在某些实施例中，限制对电子装置的访问(655)包括锁定电子装置。
方法600结束。在一个实施例中，确定用户是否正看着电子装置(640)包括：用户凝视情况模块340确定用户是否正看着电子装置(例如，看着电子装置的显示屏幕)(640)。在某些实施例中，确定用户是否正看着电子装置(640)包括：确定相对于电子装置的面部位置和/或眼睛位置。
响应于确定用户正看着电子装置(640)，方法600停止音频读出(650)并且方法600结束。在一个实施例中，读出模块205响应于用户正看着电子装置来停止音频读出(650)。否则，响应于确定用户没有正看着电子装置(640)，方法600继续呈现音频读出(655)并且方法600结束。
可以按照其它具体形式来实践实施例。所描述的实施例被认为在各方面都仅仅是说明性的，而非限制性的。因此，本发明的范围由随附的权利要求书指示，而不是由前述描述来指示。在权利要求书的等同物的意义和范围内的所有变化都在其范围内。

Claims (20)

1.一种方法，包括：
通过使用电子装置来将音频读出呈现给用户；
确定用户关注状态；以及
响应于所述用户关注状态是用户感兴趣的状态，在与所述音频读出对应的可视通知中呈现可视提示。
2.根据权利要求1所述的方法，其中，所述可视提示指示在所述可视通知中与所述音频读出的当前位置对应的位置。
3.根据权利要求1所述的方法，其中，确定所述用户关注状态包括：
接收所述用户的图像数据；
基于所述图像数据来确定所述用户是否正看着所述电子装置；以及
响应于所述用户正看着所述电子装置来将所述用户关注状态确定为用户感兴趣的状态。
4.根据权利要求1所述的方法，其中，在所述可视通知中呈现所述可视提示包括：
在通信地耦合至所述电子装置的外部装置上显示所述可视通知；以及
在显示在所述外部装置上的所述可视通知上呈现所述可视提示。
5.根据权利要求1所述的方法，其中，确定所述用户关注状态包括：
接收传感器数据；
基于所述传感器数据来确定用户是否正拿着所述电子装置；以及
响应于用户正拿着所述电子装置来将所述用户关注状态确定为用户感兴趣的状态。
6.根据权利要求5所述的方法，进一步包括：
响应于确定用户正拿着所述电子装置来接收图像数据；
基于所述图像数据来确定正拿着所述电子装置的用户是否是所述电子装置的授权用户；以及
响应于正拿着所述电子装置的所述用户不是所述电子装置的授权用户来暂停所述音频读出；以及
限制对所述电子装置的访问。
7.根据权利要求5所述的方法，进一步包括：
响应于确定用户正拿着所述电子装置来接收图像数据；
基于所述图像数据来确定所述用户是否正看着所述电子装置；以及
响应于所述用户正看着所述电子装置来呈现与所述音频读出对应的可视通知，其中，在可视通知中呈现可视提示包括：响应于所述用户正看着所述电子装置来在所述可视通知中呈现所述可视提示。
8.根据权利要求1所述的方法，进一步包括：
响应于所述用户关注状态是用户分心的状态来暂停所述音频读出；
响应于暂停所述音频读出来重新确定所述用户关注状态；以及
响应于所述用户关注状态不再是用户分心的状态来恢复所述音频读出。
9.根据权利要求8所述的方法，其中，恢复所述音频读出包括：
获取对所述音频读出的先前呈现给所述用户的部分的概述；
提醒所述用户是否呈现所述概述；以及
响应于对所述提醒的肯定响应来呈现所述概述。
10.根据权利要求8所述的方法，其中，确定所述用户关注状态包括：
测量在所述电子装置处的环境噪声等级；
将所述环境噪声等级与不可听状态阈值进行比较；以及
响应于所述环境噪声等级高于所述不可听状态阈值来将所述用户关注状态确定为用户分心的状态。
11.根据权利要求10所述的方法，其中，重新确定所述用户关注状态包括：
测量在所述电子装置处的环境噪声等级；
将所述环境噪声等级与可听状态阈值进行比较；以及
响应于所述环境噪声等级返回到低于所述可听状态阈值达阈值时间量，来将所述用户关注状态确定为不再是用户分心的状态。
12.根据权利要求10所述的方法，进一步包括：
确定所述环境噪声等级是否保持高于可听状态阈值达预定时间帧；以及
响应于所述环境噪声等级保持高于所述可听状态阈值达所述预定时间帧，呈现所述可视通知和所述可视提示，其中，所述可视提示指示在所述可视通知中与所述音频读出的当前位置对应的位置。
13.根据权利要求1所述的方法，进一步包括：
接收通知；以及
接收读取所述通知的用户命令，其中，呈现所述音频读出包括：响应于所述用户命令来将音频读出呈现给所述用户，所述音频读出与所接收到的通知对应。
14.根据权利要求13所述的方法，进一步包括：
确定所述通知的长度；以及
响应于所述长度超过预定长度来提醒所述用户是否呈现所述通知的概述读出，其中，呈现所述音频读出包括：响应于对所述提醒的肯定响应来呈现所述概述读出。
15.根据权利要求13所述的方法，进一步包括：
确定所述通知的长度，其中，呈现所述音频读出包括：响应于所述长度超过预定长度来呈现所述通知的概述读出；以及
提醒所述用户是否呈现整个通知，其中，呈现所述音频读出进一步包括：响应于对所述提醒的肯定响应来呈现与所述整个通知对应的完整读出。
16.一种设备，其包括
音频输出装置；
显示装置；
处理器；以及
存储器，所述存储器存储代码，所述代码可由所述处理器执行以：
经由所述音频输出装置将音频读出呈现给所述设备的用户；
确定用户关注状态；以及
响应于所述用户关注状态是用户感兴趣的状态，经由所述显示装置，在与所述音频读出对应的可视通知中呈现可视提示。
17.根据权利要求16所述的设备，进一步包括图像传感器，所述图像传感器被配置为捕捉图像数据，其中，确定所述用户关注状态包括：
接收所述用户的图像数据；
基于所述图像数据来确定所述用户是否正看着所述显示装置；以及
响应于所述用户正看着所述显示装置来将所述用户关注状态确定为用户感兴趣的状态，其中，所述可视提示指示在所述可视通知中与所述音频读出的当前位置对应的位置。
18.根据权利要求17所述的设备，其中，所述存储器进一步包括代码，所述代码可由所述处理器执行，以响应于呈现所述可视提示来终止所述音频读出。
19.根据权利要求16所述的设备，其中，确定所述用户关注状态包括：
接收传感器数据；
基于所述传感器数据来确定用户是否正拿着所述设备；以及
响应于用户正拿着所述设备来将所述用户关注状态确定为用户感兴趣的状态。
20.根据权利要求19所述的设备，进一步包括环境噪声传感器，其中，所述存储器进一步包括代码，所述代码可由所述处理器执行以：
测量在所述设备处的环境噪声等级；
将所述环境噪声等级与不可听状态阈值进行比较；
响应于所述环境噪声等级高于所述不可听状态阈值来暂停所述音频读出；
响应于暂停所述音频读出来重新测量在所述设备处的环境噪声等级；
将所重新测量得到的环境噪声等级与可听状态阈值进行比较；
响应于所重新测量得到的环境噪声等级低于所述可听状态阈值达阈值时间量来恢复所述音频读出；并且
响应于所述环境噪声等级保持高于可听状态阈值达预定时间帧来呈现所述可视通知和所述可视提示。
CN201710006940.5A 2016-01-05 2017-01-05 用于管理音频读出的方法和设备 Pending CN107066084A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/987,903 US9875734B2 (en) 2016-01-05 2016-01-05 Method and apparatus for managing audio readouts
US14/987,903 2016-01-05

Publications (1)

Publication Number Publication Date
CN107066084A true CN107066084A (zh) 2017-08-18

Family

ID=59069108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710006940.5A Pending CN107066084A (zh) 2016-01-05 2017-01-05 用于管理音频读出的方法和设备

Country Status (3)

Country Link
US (1) US9875734B2 (zh)
CN (1) CN107066084A (zh)
DE (1) DE102016125068B4 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621992B2 (en) * 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
US10664533B2 (en) 2017-05-24 2020-05-26 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine response cue for digital assistant based on context
EP3663933A1 (en) * 2017-07-31 2020-06-10 Sony Corporation Information processing device and information processing method
US10511806B2 (en) * 2017-09-30 2019-12-17 International Business Machines Corporation Mitigating effects of distracting sounds in an audio transmission of a conversation between participants
US11443646B2 (en) * 2017-12-22 2022-09-13 Fathom Technologies, LLC E-Reader interface system with audio and highlighting synchronization for digital books
US10826862B1 (en) * 2018-02-27 2020-11-03 Amazon Technologies, Inc. Generation and transmission of hierarchical notifications to networked devices
JP7163625B2 (ja) * 2018-06-06 2022-11-01 日本電信電話株式会社 移動支援情報提示制御装置、方法およびプログラム
US11180158B1 (en) * 2018-07-31 2021-11-23 United Services Automobile Association (Usaa) Routing or driving systems and methods based on sleep pattern information
US20200066406A1 (en) * 2018-08-22 2020-02-27 Centre For Addiction And Mental Health Tool for identifying occurrence of acute incident symptomatic of mental condition or disorder
US20200168317A1 (en) 2018-08-22 2020-05-28 Centre For Addiction And Mental Health Tool for assisting individuals experiencing auditory hallucinations to differentiate between hallucinations and ambient sounds
US11443060B2 (en) 2019-10-29 2022-09-13 Motorola Mobility Llc Note taking at a device based on whether the user is a known user, unknown user, or owner
DE102020102591A1 (de) 2020-02-03 2021-08-05 Ford Global Technologies, Llc Verfahren zum Betrieb eines Bordnetzes eines Kraftfahrzeugs
CN111526245A (zh) * 2020-04-03 2020-08-11 维沃移动通信有限公司 一种信息显示方法、电子设备及存储介质
US11783805B1 (en) * 2020-09-21 2023-10-10 Amazon Technologies, Inc. Voice user interface notification ordering

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101010664B (zh) * 2004-06-29 2011-06-08 京瓷株式会社 移动终端设备
CN102149039A (zh) * 2010-02-09 2011-08-10 微软公司 经由上下文传感器的音频系统的控制
CN102314778A (zh) * 2010-06-29 2012-01-11 鸿富锦精密工业（深圳）有限公司 电子阅读器
CN102629955A (zh) * 2012-03-30 2012-08-08 上海华勤通讯技术有限公司 人脸识别手机及其实现方法
CN103685762A (zh) * 2013-12-30 2014-03-26 宇龙计算机通信科技(深圳)有限公司 一种移动终端及其控制方法
CN203606632U (zh) * 2013-06-25 2014-05-21 潍坊歌尔电子有限公司 一种智能手表
US9008629B1 (en) * 2012-08-28 2015-04-14 Amazon Technologies, Inc. Mobile notifications based upon sensor data
CN104731327A (zh) * 2015-03-21 2015-06-24 苏州乐聚一堂电子科技有限公司 手持智能电子设备信息表现方法
CN104754126A (zh) * 2015-03-21 2015-07-01 苏州乐聚一堂电子科技有限公司 在移动电子装置中展现电子信息的方法
CN104796525A (zh) * 2014-01-20 2015-07-22 中国科学院深圳先进技术研究院 一种短信显示的方法及装置
CN104808946A (zh) * 2015-04-29 2015-07-29 天脉聚源(北京)传媒科技有限公司 图像播放控制方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014306A (ja) 1999-06-30 2001-01-19 Sony Corp 電子文書処理方法及び電子文書処理装置並びに電子文書処理プログラムが記録された記録媒体
WO2006001488A1 (ja) 2004-06-29 2006-01-05 Kyocera Corporation 携帯端末装置
EP2929460A4 (en) 2012-12-10 2016-06-22 Wibbitz Ltd METHOD FOR AUTOMATICALLY TRANSFORMING TEXT IN VIDEO

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101010664B (zh) * 2004-06-29 2011-06-08 京瓷株式会社 移动终端设备
CN102149039A (zh) * 2010-02-09 2011-08-10 微软公司 经由上下文传感器的音频系统的控制
CN102314778A (zh) * 2010-06-29 2012-01-11 鸿富锦精密工业（深圳）有限公司 电子阅读器
CN102629955A (zh) * 2012-03-30 2012-08-08 上海华勤通讯技术有限公司 人脸识别手机及其实现方法
US9008629B1 (en) * 2012-08-28 2015-04-14 Amazon Technologies, Inc. Mobile notifications based upon sensor data
CN203606632U (zh) * 2013-06-25 2014-05-21 潍坊歌尔电子有限公司 一种智能手表
CN103685762A (zh) * 2013-12-30 2014-03-26 宇龙计算机通信科技(深圳)有限公司 一种移动终端及其控制方法
CN104796525A (zh) * 2014-01-20 2015-07-22 中国科学院深圳先进技术研究院 一种短信显示的方法及装置
CN104731327A (zh) * 2015-03-21 2015-06-24 苏州乐聚一堂电子科技有限公司 手持智能电子设备信息表现方法
CN104754126A (zh) * 2015-03-21 2015-07-01 苏州乐聚一堂电子科技有限公司 在移动电子装置中展现电子信息的方法
CN104808946A (zh) * 2015-04-29 2015-07-29 天脉聚源(北京)传媒科技有限公司 图像播放控制方法及装置

Also Published As

Publication number Publication date
US20170193982A1 (en) 2017-07-06
US9875734B2 (en) 2018-01-23
DE102016125068B4 (de) 2024-04-04
DE102016125068A1 (de) 2017-07-06

Similar Documents

Publication Publication Date Title
CN107066084A (zh) 用于管理音频读出的方法和设备
CN105488957B (zh) 疲劳驾驶检测方法及装置
KR101952928B1 (ko) 관련 사용자 인터페이스 객체를 표시
EP3471604B1 (en) Impairment detection system and method
US9606622B1 (en) Gaze-based modification to content presentation
CN104023208B (zh) 一种自动监测与自主反应的装置及方法
CN107783643A (zh) 一种保护用户视力的方法及装置
CN104731314B (zh) 使用面向运动的生物计量数据提供最后已知浏览位置提示
WO2017129946A1 (en) Method and device for detecting a smoking gesture
CN109254821A (zh) 窗口缩放方法、装置、终端及计算机可读存储介质
CN117355811A (zh) 用于跟踪某些功能的执行时间的方法和用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170818