CN109716274A - 用于提供最佳观看显示的方法和装置 - Google Patents

用于提供最佳观看显示的方法和装置 Download PDF

Info

Publication number
CN109716274A
CN109716274A CN201780037354.5A CN201780037354A CN109716274A CN 109716274 A CN109716274 A CN 109716274A CN 201780037354 A CN201780037354 A CN 201780037354A CN 109716274 A CN109716274 A CN 109716274A
Authority
CN
China
Prior art keywords
item
electronic device
section
format
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780037354.5A
Other languages
English (en)
Other versions
CN109716274B (zh
Inventor
T·T·格拉伊
T·I·纳尔逊
J·P·帕克
S·巴加特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of CN109716274A publication Critical patent/CN109716274A/zh
Application granted granted Critical
Publication of CN109716274B publication Critical patent/CN109716274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/106Display of layout of documents; Previewing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/109Font handling; Temporal or kinetic typography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Abstract

本文中描述了用于基于触摸手势的检测而以第一模式和第二模式呈现用户界面的系统和方法。在一些实施方案中,可以在电子装置的显示器上呈现第一用户界面。所述第一用户界面可以包括项列表,所述项可以被格式化使得它们可从距所述显示器第一距离处最佳地观看。响应于检测到诸如滚动手势的触摸手势,可以呈现包括所述项列表的第二用户界面,所述项可以被格式化使得它们从第二距离处被最佳地观看。例如,所述第一用户界面可以从距所述显示器大约七到十英尺的距离处最佳地观看。作为另一示例,所述第二用户界面可以从大约一到三英尺的距离处最佳地观看。

Description

用于提供最佳观看显示的方法和装置
背景技术
存在许多包括显示屏,诸如触摸屏的装置。这些装置被配置为显示内容,诸如图片、列表、视频等。内容通常取决于个人是远离装置还是靠近装置而以一种格式呈现。
附图说明
图1A至图1C是根据各种实施方案的在显示屏上以第一格式和第二格式呈现内容的电子装置的说明图;
图2A是根据各种实施方案的与后端系统通信的电子装置的说明图;
图2B和图2C分别是根据各种实施方案的图2A的电子装置的显示器的说明性俯视图和横截面视图;
图3A和图3B是根据各种实施方案的响应于滚动手势而分别以第一格式和第二格式呈现的用户界面的说明图;
图4是根据各种实施方案的用于以第一格式和第二格式呈现用户界面的过程的说明性流程图;
图5是根据各种实施方案的用于取决于对电子装置的额外输入而以第一格式或第二格式呈现用户界面的过程的说明性流程图;
图6A至图6D是根据各种实施方案的取决于个人与电子装置的接近度以及对电子装置执行的触摸手势而呈现各种用户界面的电子装置的说明图;并且
图7是根据各种实施方案的用于取决于个人与电子装置的接近度和由电子装置检测到的触摸手势而呈现各种用户界面的过程的说明性流程图。
具体实施方式
如下所述,本公开一般涉及用于在显示屏上呈现内容,以及基于是否检测到特定手势而修改呈现的内容的格式的方法和装置的各种实施方案。在一些实施方案中,可以在电子装置的触摸屏上显示第一项列表。可以响应于电子装置检测到话语而显示第一项列表。例如,个人可以说出以装置的唤醒词开头的命令。响应于检测到唤醒词,电子装置可以将后续言语解释为可行动的输入。可以向后端系统发送表示话语的音频数据。响应于确定言语对应于观看列表或其他内容的请求,后端系统可以向电子装置发送将要显示的第一用户界面的显示数据。
电子装置可以从后端系统接收显示数据,并且可以被配置为在电子装置的触摸屏上呈现包括一个或多个项,诸如项列表的第一用户界面。在一些实施方案中,可以在第一用户界面内以第一格式显示项列表。例如,可以格式化项列表,使得可从距电子装置第一距离处最佳地观看第一用户界面。作为说明性示例,可以格式化项列表,使得站在距电子装置大约七到十英尺远或大于“一臂之遥”处的个人能够清楚地观看项。在一个非限制性实施方案中,第一格式可以对应于以第一字体大小显示的项。此外,可以在单独的行上显示列表的项,所述行在一行上的一个项与后一行上的另一项之间具有第一行间距。继续说明性示例,项可以大字体显示,在项之间具有大的行间距,从而使得易于从大约七到十英尺远之处阅读用户界面。
在一个示例性实施方案中,可以在第一用户界面内仅呈现项列表的一部分。例如,如果列表包括十个项,每一项位于单独的行上,则在第一格式中,仅可显示前四项。这可能是由于第一格式的字体大小和行间距设置所致。取决于显示屏的大小,仅某一数目个项或内容的某一部分可能能够以第一格式显示在显示屏上。
在一些实施方案中,个人可以接近电子装置以便交互或修改其上显示的内容。例如,个人可能想要滚动项列表,并且可以接近电子装置以执行使得列表滚动的触摸手势。例如,个人可以使用一个或多个手指接触触摸屏,并且可以执行例如滚动手势。例如,个人可以接触触摸屏的第一位置,并且在维持与触摸屏接触的同时,竖直地、基本竖直地、水平地和/或基本水平地移动他们的手指。
电子装置可以通过首先确定与触摸屏的接触已经发生超过预定义时间段从而指示该手势不是轻击手势来检测滚动手势。例如,轻击手势可以对应于诸如一个或多个手指的物体接触触摸屏持续相对少量的时间(例如,少于一秒),并且接着快速释放接触。因此,如果与触摸屏的接触维持得比相对少量的时间久,则触摸手势很可能对应于非轻击手势。在确定手势是非轻击手势之后,电子装置可以进一步检测到物体(其可以是在第一位置处与触摸屏接触的同一物体)现在可能正在第二位置处接触触摸屏。此外,电子装置可以确定物体从第一位置到第二位置与触摸屏保持接触,从而指示物体执行了滚动手势。
滚动手势可以对应于可以由个人对触敏显示屏执行的一类触摸手势。例如,基于触摸的“滚动”手势可以对应于由诸如一个或多个手指的物体在触敏显示屏上执行的触摸输入,所述触摸输入使得文字、图像和/或视频竖直地、水平地或在任何其他合适的方向上滑过触敏显示屏。通常,滚动手势可以使文字和/或图像布局保持不变,然而个人在可能不会被完整地看到的明显较大的图像上的视野可能移动。滚动手势可以例如以离散增量执行(例如,由触敏显示器显示的一行或多行文字或像素移动),或者连续地执行。另一种类型的滚动手势可以被称为例如基于触摸的“滑动”手势,所述滑动手势可以通过使物体(诸如他们的一个或多个手指)在触敏显示屏上在基本笔直的方向上移动来允许个人快速地在视觉上扫描所显示的内容,所述内容可以对应于图像、文字、视频、用户界面等。例如,个人可以关于所显示的图像目录执行“滑动”手势以快速观看其中包括的图像。作为又一示例,个人可以执行“拖动”手势,所述拖动手势响应于以下操作而选择并移动所显示的项:对所显示的项执行输入(诸如轻击或点击),在与显示屏上的所显示的项保持接触的同时,将一个人的手指或鼠标移动到显示屏上的新位置,然后与所显示的项的接触在所述新位置停止。
一些实施方案中,电子装置可以被配置为响应于检测到非轻击(例如,滚动)手势而修改或改变所显示的内容。例如,如果个人在电子装置的触摸屏上执行滚动手势,则这可以指示个人现在位于较靠近电子装置之处(例如,在“一臂之遥”内)。因此,可以将所显示的内容从第一格式修改为现在以第二格式显示式,第一格式是针对位于距电子装置第一距离处的个人而优化,第二格式可能是针对位于距电子装置第二距离处的个人而优化。例如,现在可以格式化用户界面,使得其可由位于距电子装置大约一到三英尺处的个人最佳地观看。作为另一示例,可以第二格式呈现第二用户界面。
第二格式可以呈现项或内容,使得与以第一格式显示时相比每一项显示得更小(例如,具有减小的字体大小)。例如,可以第二字体大小显示项,第二字体大小可以小于第一字体大小。此外,还可以减小列表的项之间的行间距。作为说明性示例,可以减小字体大小和间距,使得第一用户界面的第一格式内的字体大小和间距比第二用户界面的第二格式内的字体大小和间距大大约1.5到2.0倍。然而,在第一格式和第二格式内可以采用任何合适的字体大小和行间距,并且前述内容仅仅是示例性的。此外,字体大小和行间距可能受电子装置的显示屏的大小所约束。例如,大小相对较小的显示屏可能仅能够以一种字体大小呈现内容,并且因此可在该显示屏上呈现的项数目或内容量可能受限制。
在一些实施方案中,当以第二格式呈现用户界面时,还可以包括来自列表的一个或多个额外项。作为说明性示例,在第一格式中,由于第一格式的字体大小和行间距,列表的总计十个项中可能仅四个项能够在第一用户界面内显示。然而,在第二格式中,可以减小字体大小和行间距。因此,在该特定示例中,可能能够显示十个项中两个或三个额外项,使得现在呈现来自列表的六到七个项。因此,在第二格式中,可以显示来自列表的一个或多个额外项,从而允许个人具有更多数目个选项供观看、选择和/或与之交互。
在一些实施方案中,可以发生从第一格式到第二格式的改变,使得选定项利用滚动手势在显示屏上到处移动。例如,物体(例如,手指)可能已经在与第一水平位置和第一竖直位置相关联的第一位置处接触了触摸屏。在触摸屏上显示的项可以沿着与物体接触触摸屏的第一位置相同的水平轴(例如,在相同的竖直位置但在不同的水平位置处)显示。电子装置可以选择该项,并且该项可以变得突出显示、有阴影或以任何合适的方式修改以在视觉上指示该项已被选定。当执行滚动手势时,物体可以在与触摸屏保持接触的同时从第一位置移动到第二位置。项也可以沿着与滚动手势相同的方向移动,使得项保持与物体“成一直线”。例如,如果物体在触摸屏上竖直地到处移动使得其移动到新的竖直位置同时维持相同的水平位置,则项也将移动到相同的新的竖直位置同时维持其相同的水平位置。以这种方式,在滚动手势在第二位置处结束之后,该项也将沿着与物体停止接触触摸屏的第二位置相同的水平行定位。
在一个说明性实施方案中,可以继续以第二格式呈现用户界面,直到在其上不再检测到触摸输入为止。例如,如果在经过某一时间量(例如,五秒、十秒、三十秒等)之后确定未检测到触摸输入,则电子装置可以被配置为以第一格式显示用户界面。如果在该时间量期间未检测到额外触摸输入,则这可以指示个人已经停止与电子装置交互。该时间量例如可以被称为“超时”时段。在一些实施方案中,如果在超过预定义时间量内未检测到额外触摸输入,则电子装置可以被配置为停止一起显示内容。例如,如果超过三十秒未检测到触摸输入,则电子装置可以返回到睡眠模式,在睡眠模式中在显示屏上不呈现内容,或者显示低能量显示。当处于睡眠模式或低能量显示时,电子装置仍然可以监测本地音频中的装置的唤醒词的话语,尽管装置可能不在其上显示任何内容。在另一实施方案中,所显示的用户界面可以响应于检测到另一话语而返回到第一格式。例如,响应于检测到话语,电子装置可以被配置为以第一格式显示用户界面。如果个人对他们的电子装置说出话语,则这可以指示该个人不再位于电子装置附近,使得他/她可能不够靠近电子装置而无法与触摸屏交互。因此,电子装置可以第一格式显示用户界面,第一格式可以被配置为供个人在他/她不位于电子装置附近时最佳地观看。
在一些实施方案中,电子装置可以是也包括触摸屏的声控电子装置。然而,在其他实施方案中,电子装置可以包括能够检测其上的触摸输入的触摸屏,触摸屏也可以包括声控电子装置的功能,使得它还能够用作声控电子装置。如本文所述,声控电子装置可以对应于能够响应于检测到特定声音(例如,词、音素、短语或词组,或任何其他类型的声音,或任何系列的时间相关的声音)而被激活的任何装置。例如,语音激活的电子装置是一种声控电子装置。例如,这种语音激活的电子装置能够响应于检测到唤醒词而生成并向后端系统发送音频数据。
在一些实施方案中,说出的语音命令可以唤醒词开头,唤醒词也可以被称为触发表达、唤醒表达或激活词。响应于检测到发出唤醒词,语音激活的电子装置可以被配置为检测跟随在检测到的唤醒词之后的任何词并将其解释为可行动的输入或命令。在一些实施方案中,语音激活的电子装置可以由短语或词组激活,语音激活的电子装置也可以被配置为检测所述短语或词组。因此,语音激活的电子装置还可能能够检测和解释跟随在该短语或词组之后的任何词。
如本文中所使用的,术语“唤醒词”可以对应于“关键词”或“关键短语”、“激活词”或“若干激活词”,或“触发器”、“触发词”或“触发表达”。一个示例性唤醒词可以是名字,诸如名字“Alexa”,然而本领域技术人员将认识到任何词(例如,“亚马逊”)或一系列词(例如,“唤醒”或者“哈罗,Alexa”)可以替代地用作唤醒词。此外,唤醒词可以由操作语音激活的电子装置的个人设置或编程,并且在一些实施方案中,一个以上唤醒词(例如,两个或更多个不同的唤醒词)可用于激活语音激活的电子装置。在又一实施方案中,用以激活语音激活的电子装置的触发器可以是任何系列的时间相关的声音。
如本文中所使用的,术语“话语”可以对应于说出的词、陈述或声音。在一些实施方案中,话语可以包括唤醒词后跟调用,诸如请求、问题或命令。在该特定实例中,话语可以说出的唤醒词开始,并且可以在说出最后一个词、音素或声音时结束。例如,话语可以对应于问题,“Alexa-目前的天气是什么样的?”作为另一示例,话语可以是“Alexa-播放我的锻炼音乐。”另外,不需要包括唤醒词的话语可以是“调高音量”或“打电话给妈妈”。
语音激活的电子装置可以使用位于语音激活的电子装置上或与语音激活的电子装置通信的一个或多个麦克风、换能器或其他音频输入装置来监测在其本地环境内检测到的音频输入数据。在一些实施方案中,语音激活的电子装置接着可以将表示检测到的音频输入数据的音频数据提供给后端系统以用于处理和分析音频数据,并且后端系统接着可以生成并向语音激活的电子装置发送响应。另外,语音激活的电子装置可以将一个或多个唤醒词存储在其本地存储器内。如果确定从音频输入装置(例如,麦克风)接收到的音频数据与唤醒词匹配,则语音激活的电子装置可以开始向后端系统发送表示由语音激活的电子装置捕获的音频中的一些或全部的音频数据。
在一些实施方案中,触发器可以是非口头声音。例如,可以替代地使用门打开、警报响起、玻璃破碎、电话振铃的声音或任何其他声音来激活声控电子装置。在该特定情形中,非口头声音的检测可以与用于语音激活的电子装置的口头唤醒词的方式基本上类似的方式发生。例如,当检测到门打开的声音时,所述声音可以激活声音激活的电子装置,所述电子装置又可以激活防盗警报。
然而,在一些实施方案中,电子装置也可以是也包括触摸屏的手动激活的电子装置。如本文所述,手动激活的电子装置可以对应于能够响应于来自个人的手动输入(例如,按下按钮、触摸触摸屏的一部分、在装置上执行动作)而被激活的装置。例如,即按即说电子装置是一种手动激活的电子装置。这种即按即说电子装置例如能够响应于个人按下按钮而获得并输出音频数据。
图1A至图1C是根据各种实施方案的在显示屏上以第一格式和第二格式呈现内容的电子装置的说明图。在一些实施方案中,个人2可以向电子装置10说出命令,电子装置10可以位于表面6上,如图1A内所见。表面6例如可以对应于桌子、柜台顶部、架子或电子装置10可以驻留的任何其他基本平坦的表面。在一些实施方案中,电子装置10可以包括支架或支撑构件,使得电子装置10可以在表面6上保持直立或基本直立。在其他实施方案中,电子装置10可以安装在墙壁上,或者电子装置10可以安装或容纳在物体内(例如,在用具、橱柜等的外表面上)。
在一些实施方案中,电子装置10可以是声控电子装置,诸如也包括触摸屏或触摸显示器以及一个或多个额外输入和/或输出机构的语音激活的电子装置。电子装置10可以例如监测本地音频中的唤醒词(诸如名字“Alexa”)的话语。响应于检测到唤醒词,电子装置10可以被配置为记录后续言语的音频,并且可以向后端系统,诸如图2的后端系统100发送表示所述言语的音频数据,以用于生成对言语的响应。
在一些实施方案中,个人2可以发出以唤醒词开头的命令,诸如话语4,“Alexa-显示我的播放列表”。响应于检测到唤醒词“Alexa”,电子装置10可以记录唤醒词之后的后续言语(例如,请求“显示我的播放列表”)的音频,并且可以向后端系统,诸如后端系统100发送表示所述请求的音频数据,这在下文参考图2更详细地进行描述。后端系统100可以被配置为处理、解释和/或分析表示话语4的音频数据,并且可以生成并向电子装置10发送响应,诸如表示用户界面20的显示数据。显示数据可以对应于可以在电子装置10的触摸屏或显示屏上呈现的内容。在一些实施方案中,内容可以包括项列表,诸如播放列表(例如,按诸如流派或艺术家的一个或多个参数分组的歌曲列表)的列表,所述播放列表可以显示在电子装置10的显示屏上。作为说明性示例,电子装置10可以在其显示屏上呈现用户界面20。在说明性实施方案中,用户界面20包括第一播放列表项22-“另类”、第二播放列表项24-“蓝调”、第三播放列表项26-“爵士乐”和第四播放列表项28-“经典摇滚”。本领域技术人员将认识到,可以在用户界面20内呈现任何类型的列表,并且可以在列表内包括任何数目个项,并且在播放列表的列表内使用四个音乐播放列表仅仅是示例性的。
在一些实施方案中,用户界面20可以被配置为使得其中显示的各个项(例如,播放列表项22-28)可从某一距离处最佳地观看。例如,播放列表项22-28可以具有第一字体大小并且可以具有第一行间距,使得它们能够被位于距电子装置10大于“一臂之遥”处的个人观看,“一臂之遥”可以对应于距电子装置10大约七到十英尺。因此,播放列表项22-28的字母可以具有相当大的字体大小,并且间隔开,使得它们可易于被位于距电子装置10这样的距离处的个人观看和阅读。在一些实施方案中,可以第一格式呈现用户界面20,使得播放列表项22-28中的每一者以第一字体大小显示具有第一行间距。此外,在第一格式中,用户界面20还可以仅呈现列表的项的一部分。例如,响应于接收到表示话语4的音频数据,后端系统可以发送与个人2(或与电子装置10相关联的个人)的用户帐户相关联的所有播放列表的列表。然而,由于第一格式的字体大小和行间距参数,在用户界面内仅可以显示总内容的子集。例如,如果用户帐户具有四个以上播放列表,则虽然可以将表示所有播放列表的显示数据发送到电子装置10,但是仅播放列表中的一些(例如,前四个播放列表)可以在用户界面20内呈现,并且播放列表中的一些可能无法在用户界面20内呈现。
在一些实施方案中,“句子间距”可以对应于可以用于行键入的水平空间的量。例如,可以键入或印刷的字符的水平间距可以取决于该字符的形式而变化。由于在水平键入行上可能仅存在某一间距量,所以行间距可以基于用户的偏好设置可以包括在该水平行上的字符量,以及其间的适当间距,以最佳地适合。例如,行间距可以是2-5个像素,然而这仅仅是示例性的。在一些实施方案中,“行间距”可以对应于可以用于将水平键入行分开的竖直空间的量。例如,字符的竖直间距也可以取决于特定字符而变化。例如,“j”可以具有与字母“o”基本相似的上部竖直高度,然而“j”的下部竖直可以与“o”不同。在一些实施方案中,行间距可以设置为一行的最大上部高度与另一行的最小下部高度之间的间距的某个比率。作为说明性实施方案,“一个”行间距可以对应于第一行与第二行之间的一个字符(例如,大约10-15个像素)间隔。作为另一示例,“1.5倍”行间距和“双倍”行间距可以对应于一个半字符(例如,15-22.5个像素)间隔和两个字符间隔(例如,20-30个像素)。然而,本领域技术人员将认识到前述内容仅仅是示例性的。
在一些实施方案中,个人2可以决定或希望观看一个或多个额外项,或者个人2可以决定选择或找出与用户界面20上显示的一个或多个项相关的更多信息。在该特定实例中,个人20可以在电子装置10的显示屏上执行一个或多个基于触摸的手势。在一些实施方案中,电子装置10的显示屏可以是触摸屏,诸如电容感测显示界面。作为说明性示例,个人20可以接近电子装置10并且可以使用他们的手8的手指12在第一位置14处接触电子装置10的触摸屏,如图1B内所见。尽管图1B示出了个人2用手指12接触触摸屏,但本领域技术人员将认识到可以使用任何合适的物体来接触触摸屏,包括但不限于一个或多个手指、手8的手掌、能够与触摸屏交互的笔或触控笔、包括导电粒子的手套或衣物的其他物品,或任何其他物体,或其任何组合。此外,在一些实施方案中,个人可能能够执行悬停类型的手势,其中个人可以使一个或多个物体(诸如手指、手或触控笔)在触摸屏的近距离(例如,几毫米到几分米)内。触摸屏可能例如能够检测由于物体的存在而导致的电场的变形,即使物体可能没有接触到触摸屏,并且可能能够将这些动作登记为输入。例如,个人可以在触摸屏周围挥动他们的手,这可能导致发生就像个人执行基于触摸的滑动手势一样基本相同的动作。
如上所述,手指12可以在第一位置14处接触呈现用户界面20的触摸屏。第一位置14可以对应于触摸屏上的特定水平位置和竖直位置。例如,如果触摸屏被视为二维网格,其中x方向对应于触摸屏的水平轴并且y方向对应于触摸屏的竖直轴,则第一位置14可以对应于与水平位置X1和竖直位置Y1相关联的点P1(例如,P1=(X1,Y1)。可以由个人2在触摸屏上执行任何合适的触摸手势,包括但不限于轻击、滑动、滚动、轻拂、快掷、套索、捏合或任何其他触摸手势,或其任何组合。此外,还可能能够执行非触摸接近手势,包括挥手、悬停或与触摸屏的接触可以不直接发生的任何其他类型的手势。在一些实施方案中,可以确定手指12已经在第一位置14处与触摸屏接触超过与非轻击手势相关联的预定义时间段。例如,轻击手势可以对应于相对快速的触摸和释放动作,因此与触摸屏的接触将具有相对少的持续时间(例如,半秒)。如果手指12在第一位置14处触摸触摸屏比与轻击手势相关联的时间段久,则电子装置10可以确定正在执行非轻击手势。
在一些实施方案中,来自列表的一个或多个项也可以沿着与第一位置相同的竖直位置和/或水平位置定位。例如,播放列表项26可以沿着与第一位置14相同的水平行并在触摸屏上的相同的竖直位置处定位。换句话说,播放列表项26的字符可以位于位置Y1处,位置Y1可以是与点P1相同的竖直位置。响应于确定手指12目前正在执行的手势是非轻击手势,电子装置10可以确定播放列表项26位于与第一位置14相同的竖直位置Y1处,并且可以被配置为选择播放列表项26。在一些实施方案中,当选择特定项时,该项可以变为突出显示、变灰,或者可以任何合适的方式修改以指示该项已被选定。例如,尽管未在用户界面20内示出,但是响应于个人2在第一位置14处接触触摸屏,可以突出显示播放列表项26。
在一些实施方案中,个人2可以使用手指12在触摸屏上执行滚动手势。例如,可以通过使手指12与触摸屏维持接触同时使手指12从第一位置14移动到第二位置34来由个人2执行滚动或滑动手势,如图1C中所见。手指12从第一位置14到第二位置34的移动可以任何合适的速度执行,只要在滚动手势的整个持续时间内维持与触摸屏的接触即可。例如,从手指12位于第一位置14时到手指12位于第二位置34时的持续时间可以相对较少(例如,几毫秒)或较多(例如,一秒或两秒),然而这仅仅是示例性的。此外,在一些实施方案中,取决于手指12从第一位置14移动到第二位置34的持续时间,不同动作可以与触摸手势相关联。在一个示例性实施方案中,第二位置34可以基本竖直地位于第一位置14的上方或下方(例如,沿着触摸屏的二维平面),或者第二位置34可以基本水平地位于第一位置14的左侧或右侧,然而本领域技术人员将认识到这仅仅是示例性的。作为说明性示例,第二位置34可以对应于点P2,点P2具有与和第一位置34相关联的点P1相同的水平位置X1,然而点P2可以具有不同的竖直位置Y2(例如,点P2=(X1,Y2))。
在一个示例性实施方案中,响应于检测到正在电子装置10的触摸屏上执行滚动手势,电子装置10可以被配置为呈现第二用户界面30,或者可以被配置为以第二格式(例如,将用户界面20修改为第二格式)呈现用户界面30,如图1C内所见。第二用户界面30可以被配置为使得列表内的项(诸如播放列表项22-28)现在以第二格式显示。例如,可以减小播放列表项22-28的字符的字体大小,并且还可以减小播放列表项22-28的每一行之间的行间距。作为说明性示例,可以使用缩减因子1.5或2.0来减小列表的项的字体大小和行间距。在该特定情形中,在第一用户界面20内呈现的项可以比在第二用户界面30内呈现的项大1.5倍到两倍,并且第一用户界面20内的项之间的行间距可以比第二用户界面30内的项之间的行间距大1.5倍到两倍。这可以允许在较近的距离处,诸如距电子装置10一到三英尺处,或者在电子装置10的“一臂之遥”内观看第二用户界面30。这可能是由于电子装置10确定个人2很可能没有位于距电子装置10远距离(例如,七到十英尺)处,因为已经发生与电子装置10的触摸屏的交互,并且因此保持呈现被配置为在距电子装置10较大距离处观看的用户界面20可能无法提供最佳观看体验。因此,在检测到触摸手势(例如,滚动或滑动手势)后,电子装置10可以显示可以从较近距离(诸如一到三英尺远)处最佳地观看的第二用户界面30。
在一些实施方案中,可以在第二用户界面30内显示来自列表的一个或多个额外项。如前所述,可能存在与个人2的用户帐户相关联的四个以上播放列表项,并且由于第一用户界面20呈现具有第一字体大小和第一行间距的播放列表项,因此并非所有播放列表项都可以在第一用户界面20内观看到。然而,在第二用户界面30中,播放列表项可以第二较小的字体大小显示具有第二较小的行间距,并且因此额外播放列表项可能能够在第二用户界面30内呈现。作为说明性示例,第二用户界面30可以包括先前在第一用户界面20内观看不到的额外播放列表项32。本领域技术人员将认识到,尽管在第二用户界面30内仅呈现一个额外项,但是可以在其中包括任何数目个额外项。因此,替代于如同用户界面20的情况一样显示四个播放列表项,现在可以在用户界面30内呈现五个播放列表项。这可以允许个人具有增加数目的播放列表项供选择。
在一些实施方案中,当执行滑动或滚动手势时,选定项(例如,播放列表项26)也可以从与第一位置14的第一竖直位置相关联的第一位置移动到与第二位置34的第二竖直位置相关联的第二位置。例如,如前所述,第一位置14可以对应于具有第一水平位置X1和第一竖直位置Y1的点P1,并且播放列表项26可以沿着第一竖直位置Y1处的水平行显示。因此,当手指12从第一位置14移动到对应于具有第一水平位置X1和第二竖直位置Y2的点P2的第二位置34时,播放列表项26也可以移动到第二竖直位置Y2处的水平行。这可以在手指12从第一位置14移动到第二位置34时使播放列表项26能够保持与手指12“成一直线”。通过将播放列表项26的定位与手指12的位置保持成一直线,个人2的眼睛将不需要重新调整,因为在第一用户界面20内显示的播放列表项中的每一者看起来将在第一位置14周围收缩。
图2A是根据各种实施方案的与后端系统通信的电子装置的说明图。在一些实施方案中,电子装置10可以对应于包括触摸屏或其他触摸感测电路的语音激活的电子装置。电子装置10可以被配置为使得其可以响应于电子装置10检测到唤醒词随后跟随请求/问题/陈述的话语而与后端系统100通信。在一个实施方案中,电子装置10还可以被配置为响应于由电子装置10上的一个或多个输入机构(诸如触摸屏、按钮或开关)检测到手动输入而与后端系统100通信。
在一些实施方案中,电子装置10可以对应于能够响应于检测到特定声音(诸如唤醒词)以及或可选地经由一个或多个输入而被激活的任何类型的电子装置。在一个非限制性实施方案中,在检测到特定声音(例如,唤醒词或触发器)之后,电子装置10可以辨识捕获的音频内的命令(例如,可听命令、输入),并且可以响应于所接收的命令而执行一个或多个动作。此外,电子装置10还可以被配置为响应于检测到特定触摸或机械输入而执行一个或多个动作。电子装置10可以对应于任何合适类型的电子装置,包括但不限于台式计算机、移动计算机(例如,膝上型计算机、超级本)、移动电话、智能电话、平板电脑、电视机、机顶盒、智能电视机、手表、手镯、显示屏、个人数字助理(“PDA”)、智能家具、智能家用装置、智能车辆、智能交通装置和/或智能配件。在一些实施方案中,电子装置10的结构可以是相对简单的或基本的,使得不可提供机械输入选项(例如,键盘、鼠标、轨迹板)或触摸输入(例如,触摸屏、按钮)。例如,电子装置10可能能够接收和输出音频,并且可以包括电源、处理能力、存储/存储器能力和通信能力。然而,在其他实施方案中,电子装置10可以包括一个或多个机械输入或触摸输入,诸如触摸屏或多个触摸屏和/或一个或多个按钮。
电子装置10可以包括最少数目个输入机构,诸如通电/断电开关,然而在一个实施方案中,电子装置10的主要功能可以仅通过音频输入和音频输出。例如,电子装置10可以通过连续地监测本地音频来听唤醒词。响应于检测到唤醒词,电子装置10可以与后端系统100建立连接,向后端系统100发送音频数据,并等待/接收来自后端系统100的响应。然而,在一些实施方案中,非语音激活的装置也可以与后端系统100(例如,随按即说装置)通信。例如,响应于按下按钮或触摸屏,或按下按钮或触摸屏并保持,电子装置10可以开始记录本地音频,并且可以与后端系统100建立连接,向后端系统100发送表示捕获的音频的音频数据,并等待/接收来自后端系统100的响应。
电子装置10可以包括一个或多个处理器202、存储装置/存储器204、通信电路206、一个或多个麦克风208或其他音频输入装置(例如,换能器)、一个或多个扬声器210或其他音频输出装置、显示器212,以及一个或多个相机214或其他图像捕获组件。然而,一个或多个额外组件可以包括在电子装置10内,和/或可以省略一个或多个组件。例如,电子装置10可以包括电源供应器或总线连接器。作为另一示例,电子装置10可以不包括相机214。作为又一示例,电子装置10可以包括一个或多个额外输入和/或输出机构,诸如一个或多个按钮,或一个或多个开关或旋钮。此外,虽然一个或多个组件的多个实例可以包括在电子装置10内,但是为了简单起见,仅示出了每种组件中的一个。
在一些实施方案中,图2的电子装置10可以对应于手动激活的电子装置,或者可以包括手动激活的电子装置的功能。如本文所述,手动激活的电子装置可以对应于能够响应于来自个人的手动输入(例如,按下按钮、触摸触摸屏的一部分、在装置上执行动作)而被激活的装置。例如,即按即说电子装置是一种手动激活的电子装置。这种即按即说电子装置例如能够响应于个人按下按钮而获得并输出音频数据。
处理器202可以包括能够控制电子装置10的操作和功能,以及促进电子装置10内的各种组件之间的通信的任何合适的处理电路。在一些实施方案中,处理器202可以包括中央处理单元(“CPU”)、图形处理单元(“GPU”)、一个或多个微处理器、数字信号处理器或任何其他类型的处理器,或其任何组合。在一些实施方案中,处理器202的功能可以由一个或多个硬件逻辑组件执行,所述一个或多个硬件逻辑组件包括但不限于现场可编程门阵列(“FPGA”)、专用集成电路(“ASIC”)、专用标准产品(“ASSP”)、片上系统系统(“SOC”)和/或复杂可编程逻辑装置(“CPLD”)。此外,处理器202中的每一者可以包括其自己的本地存储器,所述本地存储器可以存储程序模块、程序数据和/或一个或多个操作系统。然而,处理器202可以运行用于电子装置10的操作系统(“OS”),和/或一个或多个固件应用程序、媒体应用程序和/或驻留在其上的应用程序。
存储装置/存储器204可以包括一种或多种类型的存储介质,诸如任何易失性或非易失性存储器,或以任何合适的方式实现的任何可移除或不可移除存储器,以将数据存储在电子装置10上。例如,可以使用计算机可读指令、数据结构和/或程序模块来存储信息。各种类型的存储装置/存储器可以包括但不限于硬盘驱动器、固态驱动器、快闪存储器、永久存储器(例如,ROM)、电可擦除可编程只读存储器(“EEPROM”)、CD-ROM、数字通用光盘(“DVD”)或其他光学存储介质、磁带盒、磁带、磁盘存储器或其他磁性存储装置、RAID存储系统或任何其他存储类型,或其任何组合。此外,存储装置/存储器204可以实现为计算机可读存储介质(“CRSM”),其可以是可由处理器202访问以执行存储在存储装置/存储器204内的一个或多个指令的任何可用物理介质。在一些实施方案中,一个或多个应用程序(例如,游戏、音乐、视频、日历、列表等)可以由处理器202运行,并且可以存储在存储器204中。
在一些实施方案中,存储装置/存储器204可以包括一个或多个模块和/或数据库,诸如言语辨识模块、唤醒词数据库、声音简档数据库和唤醒词检测模块。言语辨识模块可以例如包括辨识检测到的音频中的人类言语的自动言语辨识(“ASR”)组件。言语辨识模块还可以包括基于检测到的音频确定用户意图的自然语言理解(“NLU”)组件。言语辨识模块中还可以包括能够将文字转换为言语以由扬声器210输出的文字到言语(“TTS”)组件,和/或能够将接收到的音频信号转换为文字以发送到后端系统100进行处理的言语到文字(“STT”)组件。
唤醒词数据库可以是本地存储在电子装置10上的数据库,所述数据库包括用于电子装置10的当前唤醒词,以及用于语音激活的电子装置的一个或多个先前使用的或替代唤醒词的列表。在一些实施方案中,个人可以为其电子装置10设置或编程唤醒词。唤醒词可以直接在电子装置10上编程,或者唤醒词或词可以由个人经由与后端系统100通信的后端系统应用程序来设置。例如,个人可以使用其上运行有后端系统应用程序的移动装置来设置唤醒词。然后可以将特定唤醒词从移动装置传送到后端系统100,后端系统100又可以向电子装置10发送/通知个人对唤醒词的选择。然后可以将选定激活存储在存储装置/存储器204的唤醒词数据库中。在一些实施方案中,唤醒词的额外触发表达或置换也可以存储在存储装置/存储器204内。例如,指示存在唤醒词的特定触发表达或词也可以存储在存储装置/存储器204内。在一些实施方案中,指示特定动作或消息的音频水印也可以存储在存储装置/存储器204内。
在一些实施方案中,用于不同词、短语、命令或音频合成的声音简档也能够存储在存储装置/存储器204内,诸如在声音简档数据库内。例如,音频的声音简档可以存储在电子装置10上的存储装置/存储器204的声音简档数据库内。以这种方式,例如,如果电子装置10检测到特定声音(例如,唤醒词或短语),则可以忽略对应命令或请求。例如,声音简档可以对应于特定音频文件或任何媒体文件的音频部分的频率和时间分解,诸如音频指纹或频谱表示。
唤醒词检测模块可以包括表达检测器,所述表达检测器分析由麦克风208产生的音频信号以检测唤醒词,所述唤醒词通常可以是预定义的词、短语或任何其他声音,或任何系列的时间相关的声音。作为示例,这种表达检测器可以使用关键词检出技术来实现。关键词检出器是功能组件或算法,其评估音频信号以检测由麦克风208检测到的音频信号内的预定义词或表达的存在。关键词检出器不是产生言语的词的转录,而是生成真/假输出(例如,逻辑1/0)以指示音频信号中是否表示了预定义的词或表达。在一些实施方案中,表达检测器可以被配置为分析音频信号以产生指示在麦克风208检测到的音频信号内表示唤醒词的可能性的得分。然后,表达检测器可以将该得分与唤醒词阈值进行比较,以确定唤醒词是否将被声明为已说出。
在一些实施方案中,关键词检出器可以使用简化的ASR技术。例如,表达检测器可以使用隐马尔可夫模型(“HMM”)辨识器,其执行音频信号的声学建模,并将音频信号的HMM模型与通过对特定触发表达的训练创建的一个或多个参考HMM模型进行比较。HMM模型将词表示为一系列状态。一般来说,通过将音频信号的HMM模型与触发表达的HMM模型进行比较来分析音频信号的一部分,从而产生表示音频信号模型与触发表达模型的相似性的特征得分。
实际上,HMM辨识器可以产生对应于HMM模型的不同特征的多个特征得分。表达检测器可以使用支持向量机(“SVM”)分类器,其接收由HMM辨识器产生的一个或多个特征得分。SVM分类器产生指示音频信号含有触发表达的可能性的置信度得分。将置信度得分与置信度阈值进行比较,以做出关于音频信号的特定部分是否表示触发表达的话语(例如,唤醒词)的最终决定。在声明音频信号表示触发表达的话语后,电子装置10然后可以开始向后端系统100传输音频信号,以用于检测并响应个人或电子装置(例如,电视机20)的后续话语。
通信电路206可以包括允许或使电子装置10能够与一个或多个装置、服务器和/或系统通信的任何电路。例如,通信电路206可以促进电子装置10与后端系统100之间的通信。作为说明性示例,表示命令4的音频数据可以使用任何数目个通信协议经由诸如因特网的网络传输到后端系统100。例如,传送控制协议和因特网协议(“TCP/IP”)(例如,用于TCP/IP层中的每一者的协议中的任一者)、超文本传送协议(“HTTP”)和无线应用协议(“WAP”)是可用于促进电子装置10与后端系统100之间的通信的各种类型的协议中的一些。在一些实施方案中,电子装置10和后端系统100可以使用HTTP经由网络浏览器彼此通信。可以使用各种额外通信协议来促进电子装置10与后端系统100之间的通信,所述通信协议包括但不限于Wi-Fi(例如,802.11协议)、射频系统(例如,900MHz、1.4GHz,和5.6GHz通信系统)、蜂窝网络(例如,GSM、AMPS、GPRS、CDMA、EV-DO、EDGE、3GSM、DECT、IS-136/TDMA、iDen、LTE或任何其他合适的蜂窝网络协议)、红外线、比特流、FTP、RTP、RTSP、SSH和/或VOIP。
通信电路206可以使用任何通信协议,诸如先前提到的示例性通信协议中的任一者。在一些实施方案中,电子装置10可以包括天线以促进使用各种无线技术(例如,Wi-Fi、射频等)与网络进行的无线通信。在又一实施方案中,电子装置10可以包括一个或多个通用串行总线(“USB”)端口、一个或多个以太网或宽带端口,和/或任何其他类型的硬连线访问端口,使得通信电路206允许电子装置10与一个或多个通信网络通信。
电子装置10还可以包括一个或多个麦克风208和/或换能器。麦克风208可以是能够检测音频信号的任何合适的组件。例如,麦克风208可以包括用于生成电信号的一个或多个传感器以及能够处理所生成的电信号的电路。在一些实施方案中,麦克风208可以包括能够检测各种频率水平的多个麦克风。作为说明性示例,电子装置10可以包括放置在电子装置10周围的各个位置处的多个麦克风(例如,四个、七个、十个等),以监测/捕获在电子装置10所处的环境中输出的任何音频。各种麦克风208可以包括针对远处的声音优化的一些麦克风,而一些麦克风可以针对在电子装置10的近距离内发生的声音进行优化。在一些实施方案中,麦克风208可以仅响应于对装置10的手动输入而开始检测音频信号。例如,手动激活的电子装置可以响应于用户输入(诸如按下按钮、轻击触摸屏,或者向触摸输入组件提供任何触摸输入手势)而开始捕获音频数据。
电子装置10还可以包括一个或多个扬声器210。扬声器210可以对应于用于输出音频信号的任何合适的机构。例如,扬声器210可以包括可能能够向电子装置10可能所处的周围区域广播音频信号和或音频内容的一个或多个扬声器单元、换能器、扬声器阵列,和/或换能器阵列。在一些实施方案中,扬声器210可以包括可以无线地布线或硬连线到电子装置10的耳机或耳塞,其可能能够直接向个人广播音频。
在一些实施方案中,一个或多个麦克风208可以用作输入装置以接收音频输入,诸如命令4。在先前提到的实施方案中,电子装置10然后还可以包括一个或多个扬声器210以输出可听响应。以这种方式,电子装置10可以仅通过言语或音频起作用,而不使用或不需要任何输入机构或显示器。
显示器212可以对应于显示屏和/或触摸屏,其可以是任何大小和/或形状并且可以位于电子装置10的任何部分。各种类型的显示器可以包括但不限于液晶显示器(“LCD”)、单色显示器、彩色图形适配器(“CGA”)显示器、增强型图形适配器(“EGA”)显示器、可变图形阵列(“VGA”)显示器,或任何其他类型的显示器,或其任何组合。又另外,在一些实施方案中,触摸屏可以对应于包括能够辨识其上的触摸输入的电容感测面板的显示屏。例如,显示器212可以对应于投射电容式触摸(“PCT”),屏幕包括一行或多行迹线和/或驱动线迹线,以及一列或多列迹线和/或感测线。
图2B和图2C分别是根据各种实施方案的图2A的电子装置的显示器的说明性俯视图和横截面视图。在一个非限制性实施方案中,图2C的显示器212可以包括涂布有透明导体222,诸如氧化铟锡(“InSnO”或“ITO”)的绝缘体部分228,诸如玻璃。一般来说,触摸屏显示器的一侧可以涂布有导电材料。可以将电压施加到导电材料部分,从而生成均匀的电场。当诸如人的手指、触控笔或任何其他导电介质的导电物体接触非导电侧(通常是显示器212的外表面)时,可以在物体与导电材料之间形成电容。处理器202可能能够确定触摸屏的与检测到电容变化的地方相关联的位置,并且可以将触摸输入登记为在该位置处发生。
在一些实施方案中,显示器212可以包括多个层,诸如顶部涂布层222、驱动线层224、感测层226和玻璃基板层228。如前所述,玻璃基板层228可以对应于绝缘体部分,而顶部涂布层222可以涂布有一种或多种导电材料。驱动线层224可以包括多条驱动线218,并且感测层226可以包括多条感测线216,其在下文更详细地进行描述。本领域技术人员将认识到,一个或多个额外层或层222-228之间的空间可以包括在显示器222内。此外,本领域技术人员将认识到,可以使用分别用于驱动线层224和感测层226的任何数目的驱动线和感测线。
在一些实施方案中,驱动线层224和感测线层226的相应驱动线218和感测线216可以形成多个交叉点,其中每个交叉点用作其自己的电容器。每条感测线216可以耦合到源220,使得将电荷提供到每条感测线216,并且由此可检测特定驱动线218和感测线216的电容变化。响应于导电物体例如在点P1处接近或基本上接触顶部涂布层222的外表面,特定电容器(例如,交叉点)的互电容的量值可以减小。换句话说,可以在显示器212上与导电物体接触显示器212之处相对应的位置处检测到电压降。
可以测量电容的变化以确定触摸屏上的物体已经接触表面的位置。例如,如果个人触摸显示器212上的点P1,则可以识别在点P1处交叉的对应驱动线216和感测线218。点P1的位置可以例如对应于显示器212上的水平位置X1和竖直位置Y1。该位置还可以具有与该位置相关联的一个或多个像素,并且因此可以为在该位置处显示的一个或多个项登记一个或多个动作。电子装置10可以被配置为确定哪些像素与特定位置点相关联,以及哪个或哪些项也在该像素位置处显示。此外,电子装置10可以被配置为基于触摸输入的持续时间和或在检测到一个或多个额外触摸输入的情况下,使一个或多个额外动作发生以使一个或多个项在显示器212上显示。例如,可以在稍后的时间点确定在位置P1处接触显示器212的物体在位置P2处接触显示器212。在说明性示例中,物体可能最初在点P1处接触显示器,并且沿着特定驱动线218移动到点P2。在这种情形中,相同的驱动线218可能已经检测到对应于两条单独的感测线216的点P1与P2之间的电容变化。
驱动线218和感测线216的数目以及因此交叉点的数目可以直接与触摸屏的“分辨率”相关。例如,交叉点的数目越多(例如,更多数目的驱动线218和感测线216),触摸输入的精度越高。例如,具有100条驱动线和100条感测线的触摸屏显示器212可以具有100个交叉点,并且因此具有100个单独的电容器,而具有10条驱动线和10条感测线的触摸屏显示器212可以仅具有10个交叉点,并且因此仅具有10个单独的电容器。因此,具有100个交叉点的触摸屏的分辨率可以大于具有10个交叉点的触摸屏的分辨率。换句话说,具有100个交叉点的触摸屏与具有10个交叉点的触摸屏相比可以能够以更高的精度分辨物体触摸触摸屏的位置。然而,因为驱动线218和感测线216需要对其施加电压,这也可能意味着电子装置10汲取更大的功率,并且因此驱动线218和/或感测线216越少,操作触摸屏显示器所需的功率越小。
在一些实施方案中,显示器212可以对应于高清晰度(“HD”)显示器。例如,显示器212可以显示720p、1080p、1080i或任何其他图像分辨率的图像和/或视频。在这些特定情形中,显示器212可以包括被配置为显示一个或多个分辨率的图像的像素阵列。例如,720p显示器可以呈现分别具有786,432;921,600;或1,049,088个像素的1024乘768、1280乘720或1366乘768图像。此外,1080p或1080i显示器可以呈现具有2,073,600个像素的1920乘1080图像。然而,本领域技术人员将认识到,前述显示比例和像素数目仅仅是示例性的,并且可以将任何合适的显示器分辨率或像素数目用于显示器212,诸如非HD显示器、4K显示器和/或超级显示器。
返回到图2A,相机214可以对应于能够捕获一个或多个图像和/或视频的任何合适的一个或多个图像捕获组件。在一些实施方案中,相机214可以被配置为捕获照片、照片序列、快速拍摄(例如,在相对较少的持续时间期间顺序地捕获的多个照片)、视频或任何其他类型的图像,或其任何组合。在一些实施方案中,电子装置10可以包括多个相机214,诸如一个或多个前置相机和/或一个或多个后置相机。此外,相机214可以被配置为辨识远场图像(例如,物体位于距电子装置10大距离处)或近场图像(例如,物体位于距电子装置10相对较小的距离处)。在一些实施方案中,相机214可以是能够以基本上大的分辨率(例如,726p、1080p、1080i等)获得图像和/或视频的高清晰度(“HD”)相机。在一些实施方案中,相机214可以在电子装置10的外部。例如,外部相机可能能够捕获图像和/或视频,然后可以将所述图像和/或视频提供给电子装置10以供观看和/或处理。
在一个示例性实施方案中,电子装置10可以包括额外输入/输出(“I/O”)接口。例如,电子装置10可以包括能够接收用户输入的一个或多个输入组件。各种类型的输入组件可以包括但不限于键盘、按钮、开关、鼠标、操纵杆,或者外部控制器可以用作I/O接口的输入机构。在一些实施方案中,电子装置10的I/O接口的输出部分可以包括一个或多个灯、发光二极管(“LED”)或其他视觉指示器。本领域技术人员将认识到,在一些实施方案中,I/O接口的输出部分的一个或多个特征可以包括在纯语音激活版本的电子装置10中。例如,一个或多个LED灯可以包括在电子装置10上,使得当麦克风208接收到音频时,一个或多个LED灯变亮,从而表明电子装置10已经接收到音频。在一些实施方案中,一个或多个振动机构或其他触觉特征可以包括在电子装置10中,以从装置10向个人提供触觉响应。
在一些实施方案中,后端系统100可以是能够从一个或多个电子装置(诸如电子装置10)接收和发送内容的远程装置。后端系统100可以包括各种组件和模块,包括但不限于自动言语辨识(“ASR”)模块258、自然语言理解(“NLU”)模块260、主题服务器/技能模块262、文字到言语(“TTS”)模块264和用户帐户模块268。在一些实施方案中,后端系统100还可以包括计算机可读介质,包括但不限于快闪存储器、随机存取存储器(“RAM”)和/或只读存储器(“ROM”)。后端系统100还可以包括存储用于后端系统100的软件、硬件、逻辑、指令和/或命令的各种模块,诸如扬声器标识(“ID”)模块,或任何其他模块,或其任何组合。
ASR模块258可以被配置为辨识检测到的音频(诸如由电子装置10捕获的音频)中的人类言语,然后可以将所述音频传输到后端系统100。在一个实施方案中,ASR模块258可以包括一个或多个处理器252、存储装置/存储器254和通信电路256。在一些实施方案中,处理器252、存储装置/存储器254和通信电路256可以基本上类似于上文更详细地描述的处理器202、存储装置/存储器204和通信电路206,并且前述描述可能适用。在一些实施方案中,ASR模块258可以包括言语到文字(“STT”)模块266。STT模块266可以采用各种言语到文字技术。然而,用于将言语转录成文字的技术在本领域中是众所周知的,并且不需要在本文中进一步详细描述,并且可以使用任何合适的计算机实现的言语到文字技术来将接收的音频信号转换为文字,诸如可从总部设于英国英格兰剑桥的Autonomy Corporation获得的SOFTSOUND言语处理技术。
ASR模块258可以包括表达检测器,所述表达检测器分析由后端系统100接收到的音频信号,诸如上文关于电子装置10提到的表达检测器。作为示例,这种表达检测器可以使用关键词检出技术来实现。关键词检出器是功能组件或算法,其评估音频信号以检测音频信号内的预定义词或表达(诸如密码短语或其他声音数据)的存在。关键词检出器不是产生言语的词的转录,而是生成真/假输出(例如,逻辑1/0)以指示音频信号中是否表示了预定义的词或表达。在一些实施方案中,表达检测器可以被配置为分析音频信号以产生指示在音频信号内表示唤醒词或短语的可能性的得分。然后,表达检测器可以将该得分与阈值进行比较,以确定唤醒词或短语是否将被声明为已说出。
NLU模块260可以被配置为使得其基于所接收的音频数据确定用户意图。例如,NLU模块260可以确定命令4的意图是用于交通信息。响应于确定命令4的意图,NLU模块260可以将所接收的命令传送到主题服务器/技能模块262上的适当的主题服务器或技能以执行一个或多个任务,和/或检索适当的响应或响应信息。NLU模块260可以包括处理器252、存储装置/存储器254和通信电路256,其在一个实施方案中可以基本上类似于电子装置200的处理器202、存储装置/存储器204和通信电路206,并且先前的描述可能适用。
主题服务器/技能模块262可以例如对应于能够处理各种任务特定的动作的各种动作特定的技能或服务器。主题服务器/技能模块262还可以对应于能够执行各种任务或动作的第一方应用和/或第三方应用。例如,基于从电子装置10接收的音频的上下文,后端系统100可以使用某个应用程序来生成响应,或获得响应信息,所述响应信息又可以被传送回电子装置10。例如,命令4可以请求交通信息,并且因此主题服务器/技能模块262可以访问交通主题服务器以获得与电子装置10相关联的位置的当前交通模式和交通信息。主题服务器/技能模块262还可以包括处理器252、存储装置/存储器254和通信电路256。
TTS模块264可以采用各种文字到言语技术。然而,用于将言语转录成文字的技术在本领域中是众所周知的,并且不需要在本文中进一步详细描述,可以使用任何合适的计算机实现的言语到文字技术来将所接收的音频信号转换为文字,诸如可从总部设于英国英格兰剑桥的Autonomy Corporation获得的SOFTSOUND言语处理技术。TTS模块264还可以包括处理器252、存储装置/存储器254和通信电路256。
用户帐户模块268可以存储与在后端系统100上具有注册帐户的用户相对应的一个或多个用户简档。例如,父母可以在后端系统100上具有注册帐户,并且父母的每个孩子可以在父母的注册帐户下注册他们自己的用户简档。例如每个用户简档的信息、设置和/或偏好可以存储在用户简档数据库内。在一些实施方案中,用户账户模块268可以存储用于特定用户简档的语音信号,诸如语音生物识别信息。这可以允许说话者识别技术用于将语音与和特定用户简档相关联的语音生物识别数据进行匹配。在一些实施方案中,用户账户模块268可以存储分配给特定用户简档的电话号码。
在一些实施方案中,一个或多个内容项,诸如图1A至图1C的播放列表项22-32可以存储在特定个人的用户帐户内。因此,响应于接收到观看特定内容的请求,后端系统100可以从个人的特定用户帐户内访问该内容。此外,后端系统100还可以被配置为响应于命令而生成表示用户界面或各自呈不同格式的多个用户界面的显示数据以提供给电子装置10。例如,响应于接收到命令4,后端系统100可以访问用户帐户模块268以获得播放列表项。然后,后端系统可以使用类别服务器/技能模块262内的显示技能来生成表示用户界面的显示数据,并且可以向电子装置10发送显示数据。然而,在一些实施方案中,单独的用户界面模块可以包括在后端系统100内,后端系统100可以被配置为生成用于电子装置10的用户界面,并且可以生成并向电子装置10发送表示那些用户界面的显示数据。
本领域技术人员将认识到,尽管ASR模块258、NLU模块260、主题/技能模块262、TTS模块264、用户账户模块268、声音简档数据库270和声音简档生成模块272中的每一者可以各自包括处理器252、存储装置/存储器254和通信电路256的实例,并且ASR模块258、NLU模块260、主题服务器/技能模块262、TTS模块264、用户账户模块268、声音简档数据库270和声音简档生成模块272中的每一者内的处理器252、存储装置/存储器254和通信电路256的那些实例可以不同。例如,ASR模块258内的处理器252的结构、功能和样式可以基本上类似于NLU模块260内的处理器252的结构、功能和样式,然而实际的处理器252无需是同一个实体。
图3A和图3B是根据各种实施方案的响应于滚动手势而分别以第一格式和第二格式呈现的用户界面的说明图。在说明性非限制性实施方案中,图3A包括电子装置10,电子装置10可以在其上以第一格式显示用户界面300。用户界面300可以显示在电子装置10的触摸屏(诸如显示器212)上。在一些实施方案中,触摸屏显示器212可以位于电子装置10的正面,并且相机214也可以位于正面。例如,相机214可以位于电子装置10的正面的上部,基本上在其上呈现用户界面300的显示器212上方,然而这仅仅是示例性的,并且相机214可以位于电子装置10上的任何合适的位置。
在一个实施方案中,用户界面300可以显示项列表,诸如“待办事项列表”。在说明性实施方案中,标题或报头302可以显示在用户界面300的上部,并且列表的一个或多个项可以显示在标题302下方。例如,列表的第一项304可以显示在第一行上,并且列表的第二项306可以显示在第二行上。如在该示例中提到的,第一行和第二行可以对应于各个像素,每个像素具有关于显示器212的相同的竖直位置。例如,第一项304可以沿着与显示器212上的第一竖直位置相关联的第一水平行定位,而第二项306可以沿着与显示器212上的第二竖直位置相关联的第二水平行定位。第一项304和第二项306可以显示为具有第一字体大小F1,可以足够大使得第一用户界面300可从第一距离处清楚地观看。例如,第一字体大小F1可以具有足够大的大小,使得标题302、第一项304和第二项306可由位于距电子装置10大约七到十英尺处的个人观看。此外,分别在其上显示有第一项304和第二项306的第一行与第二行可以分开达第一行间距D1。第一行间距D1可以足够大,使得第一项304和第二项306从第一距离处看起来不重叠,并且可清楚地彼此区分。
在一些实施方案中,可以设置第一字体大小F1和第一行间距D1,使得在第一用户界面300内显示的项的一些字符不完全适合显示器212。例如,第二项306可以是“取干洗衣物”。然而,由于第二项306的字体大小F1,词“衣物”可能无法适合第二行,并且可能替代地位于第三行上在词“取干洗”下方。然而,在一些实施方案中,第二项306的完整文字可以是“取干洗衣物”,但是由于第一字体大小F1和/或第一行间距D1,最后的词“衣物”可能无法适合第二行,并且因此可能无法在第一用户界面300上观看到。本领域技术人员将认识到,尽管在第一用户界面300内仅显示列表的两项,但是可以在其中显示列表的任何合适数目个项,使得每一项可从距电子装置10第一距离处观看。此外,在一些实施方案中,第一字体大小F1和第一行间距D1可以是可配置的,使得操作电子装置10的个人可以修改或调整第一字体大小F1和/或第一行间距D1。
在一些实施方案中,个人(诸如个人2)可以滚动列表的项和/或修改列表上的一个或多个项。为此,个人2可以向显示器212提供触摸输入,诸如滚动手势。作为说明性示例,个人2可以接触显示器212的外表面(例如,从电子装置10面向外的表面),显示器212目前可以正在显示用户界面300。在一些实施方案中,诸如个人2的手指8的物体可以在第一位置310处接触显示器212。如上所述,显示器212可以是包括一条或多条驱动线和感测线(例如,驱动线218和感测线216)的触摸屏。在检测到驱动线与感测线的交叉点处的电容变化时,电子装置10的处理器202可以确定显示器212的像素阵列的与第一位置310相关联的一部分,并且还可以确定一个或多个内容项目前是否显示在显示器212的该部分内。例如,第一位置310可以与显示器212的特定水平位置(例如,水平位置X1)和竖直位置(例如,竖直位置Y1)相关联。电子装置10还可以确定也可以在第一用户界面300内显示的第二项306也位于相同的竖直位置(例如,竖直位置Y1)但是位于不同的水平位置。换句话说,在第一用户界面300内显示第二项306的第二行可以对应于与第一位置310相同的水平感测线。
在一些实施方案中,响应于电子装置10确定关于第一位置310与显示器212的接触与对第二项306的选择相关联,可以选择第二项306。响应于检测到触摸输入,电子装置100可以确定第二项306沿着相同的竖直位置定位,并且可以确定触摸输入对应于对第二项306的选择的可能性值。如果确定可能性值大于预定义触摸输入阈值,则电子装置10可以被配置为选择第二项306。例如,如果在位置310附近没有显示其他项,并且第二项306是触摸输入对应的最近或最可能的项,则电子装置10可以选择第二项306。在一些实施方案中,选定的项可以变为突出显示、有阴影、加框、变灰或以任何合适的方式修改以表明其选择。例如,在说明性实施方案中,虚线框308可以出现在第二项306周围,以指示对第二项306的选择已经发生。
在一些实施方案中,个人可以在呈现第一用户界面300的触摸屏显示器212上执行滑动或滚动手势。例如,个人2可以使用手指8在第一位置310处接触显示器212,并且在与显示器212保持接触的同时,可以在方向A1上移动手指8。电子装置10可能能够基于多种因素确定正对显示器212执行的手势的类型。例如,电子装置10可能能够通过确定物体与显示器212保持接触超过预定义持续时间来确定手势是非轻击手势。轻击手势可以是相对快速的手势,并且因此如果确定与显示器212的接触持续得比预定义持续时间久(例如,在特定驱动线与感测线的交叉点处的电容变化持续超过预定义持续时间),则这可以指示该手势是非轻击手势。此外,除了物体与显示器212保持接触之外,电子装置10还可以确定物体还从位置310移动到位置360。例如,位置310可以与驱动线与感测线的第一交叉点相关联,并且位置360可以与驱动线与感测线的第二交叉点相关联。可以基于位置360与310的水平位置和竖直位置的差异以及当与位置310的接触结束时的第一时间与当与位置360的接触开始时的第二时间之间的时间差异来确定移动的方向和速度。
响应于确定已经执行了滚动手势,电子装置10可以在显示器212上呈现用户界面350。第二用户界面350可以基本上类似于用户界面300,使得用户界面350可以对应于以第二格式显示的用户界面300。在一些实施方案中,基于确定已经执行了滚动手势,电子装置10可以确定个人基本上位于电子装置10附近(例如,一到三英尺),并且可以使用户界面350呈现在显示器212上。用户界面350可以被布置成使得其可由个人(例如,个人2)从可能基本上在电子装置10附近的位置处最佳地观看。例如,用户界面300可能已被配置为使得其可从远处(诸如距电子装置10七到十英尺处)最佳地观看。然而,对于位于靠近电子装置10之处(例如,在显示器212的一到三英尺内)的个人,这可能不是优选的观看方案。因此,用户界面350可以被配置为使得其可易于由位于靠近电子装置10之处的个人观看。
在一些实施方案中,用户界面350可以包括标题352、第一项354、第二项356、第三项362和第四项364。标题352、第一项354和第二项356可以基本上类似于标题302、第一项304和第二项306,不同之处在于前者可以较小的字体大小显示并且每一项的行之间的间距减小使得用户界面350更易于从近距离处观看。例如,项354、356、362和364可以第二字体大小F2显示,第二字体大小F2可以小于第一字体大小F1,这可以使对项列表的近距离阅读和导览更容易。第一项352、第二项354、第三项362和第四项364可以分别显示在第一行、第二行、第三行和第四行上。在一些实施方案中,可以在用户界面350内使用第二行间距D2,使得每一项彼此更靠近地显示。此外,标题352可以被移动到用户界面350内的更高处(例如,更大的竖直位置),然而这仅仅是示例性的,因为标题352也可以在用户界面350内保持与它在用户界面300内基本相同的位置。
在一些实施方案中,当个人2在方向A1上执行滚动手势时,手指8可以在显示器212上从第一位置310移动到第二位置360。当手指8从第一位置310移动到第二位置360时,第二项306可以随手指8移动,使得针对用户界面350内的第二项352的第二行关于显示器212的位置与第二位置360的竖直位置成一直线。例如,如果第二位置360位于竖直位置Y2处,则用户界面350内的第二项352也将呈现在竖直位置Y2处,虽然是在不同的水平位置。这可以向个人2提供明显的感觉,好像项列表在它们接触显示器212的位置310周围收缩或折叠,而不是仅仅看起来减小字体大小和行间距。此外,指示选择了第二项306的虚线框308的大小也可以减小,因为虚线框358可以显示在用户界面350内。因此,虽然虚线框358仍然可以指示选择了第二项356,然而它可以具有不同的大小以符合用户界面350内的第二项356的配置。
在一些实施方案中,与用户界面300相比,用户界面350的第二字体大小F2和第二行间距D2可以使得能够在列表内显示更多项。例如,额外项可以能够以第二格式显示在用户界面350内。例如,第三项362和第四项364可以显示在用户界面350内,但是由于第一字体大小F1和/或第一行间距D1而不能显示在用户界面300内。由于字体大小F2和行间距D2减小,项362和364现在可以能够显示在用户界面350内,从而向个人提供更多数目的观看选项并增加呈现给个人的信息量。
图4是根据各种实施方案的用于以第一格式和第二格式呈现用户界面的过程的说明性流程图。在一个实施方案中,过程400可以在步骤402处开始。在步骤402处,可以第一格式呈现包括项列表的一部分的用户界面。例如,可以在电子装置10的显示器上以第一格式呈现图3的用户界面300。在一些实施方案中,用户界面300可以呈现内容,使得内容可从距电子装置10第一距离(例如,七到十英尺)处最佳地观看。例如,项306和308可以显示为具有第一字体大小F1和第一行间距D1。
在步骤404处,可以在呈现用户界面的触摸屏的第一位置处检测第一触摸输入。例如,电子装置10可以确定物体已经在第一位置310处接触了触摸屏显示器212。例如,可以检测表面与显示器212的一条或多条驱动线218和一条或多条感测线216之间的电容变化。在步骤406处,可以确定第一触摸输入的持续时间大于预定义轻击手势阈值,并且在步骤408处,可以确定第一触摸输入对应于非轻击手势。例如,轻击手势可以与显示器212的基本上快速的触摸相关联,并且因此如果与显示器212的接触持续得比预定义轻击手势阈值久,则第一触摸输入很可能对应于非轻击手势。
在步骤410处,可以确定第一位置是第一触摸输入的原点。例如,第一位置310可以对应于滚动手势的原点。在一些实施方案中,可以使用原点来确定正在触摸屏上执行的手势的速度或位移。例如,可以基于原点、终点以及与从原点到终点相关联的持续时间来确定滚动手势的速度,其指示滚动得多快或放大的程度。
在步骤412处,可以确定来自在第一用户界面内呈现的项列表的项与原点相关联。原点或第一位置可以对应于电容单元触摸屏的驱动线218与感测线216的特定交叉点。交叉点可以与所显示的用户界面的一部分(例如,显示器212的水平和竖直位置)相关。在一些实施方案中,可以在水平和/或竖直位置处或基本上在水平和/或竖直位置处显示一个或多个项。例如,可以沿着位于交叉点的相同竖直位置(例如,Y2)处的水平行显示第二项306。因此,在一些实施方案中,因为已经与该交叉点进行了接触,所以电子装置10的处理器202可以被配置为选择第二项306。在一些实施方案中,驱动线218和感测线216的数目可以与触摸输入的精度相关,并且因此与用户界面内的项选择的准确度相关。例如,驱动线218和感测线216的数目越多,交叉点的数目越多,并且因此用于准确地识别在显示器上的用户界面内呈现的哪个(哪些)项与一个或多个特定交叉点相关联的分辨率越好。
在步骤414处,可以在触摸屏上的第二位置处检测第二触摸输入。例如,可以在用户界面350的第二位置360处检测触摸输入。在一些实施方案中,第二触摸输入可能必须是额外触摸输入。例如,与显示器212的接触可以在第一位置310与第二位置360之间保持。当手指8从第一位置310移动到第二位置360时,手指8与触摸屏(例如,显示器212)之间的电容耦合可以从在第一交叉点处被检测到改变为在第二交叉点处、第三交叉点处等等被检测到,直到与第二位置360或任何终点相关联的交叉点之间的电容耦合发生为止。在步骤416处,可以确定正在显示器212上执行或在显示器212上执行了滚动或滑动手势。在一些实施方案中,手势从第一位置310到第二位置360的速度可以指示所执行的手势是滚动手势。在其他实施方案中,沿着从第一位置310到第二位置360的路径确定检测到电容耦合的每个交叉点可以指示该手势是滚动手势。本领域技术人员将认识到,可以采用用于确定在触摸屏上执行了或正在执行的手势类型的任何合适技术,并且前述内容仅仅是示例性的。
在步骤418处,可以在第二位置360处显示,或者在与第二位置360相同的竖直或水平位置处显示确定为与原点相关联的项(例如,第二项306)。例如,可以在与第二位置360的竖直位置(例如,Y2)相关联的相同的竖直位置(例如,也是Y2)处显示第二项356。以这种方式,选定项,第二项356“跟随”所执行的滚动手势的路径(例如,具有与触摸屏上的接触点相同的竖直位置),并且使得个人的焦点能够在执行手势的整个持续时间内保持在同一项上。
在步骤420处,可以确定列表的项的第二格式。在一些实施方案中,第二格式可以对应于列表的项的新字体大小和/或行间距。例如,因为检测到滚动手势,所以可以确定个人现在位于靠近电子装置10之处(例如,在几英尺内)。因此,当以第一格式呈现用户界面300时使用的字体大小和行间距可能不再合适,因为先前的呈现被优化用于在远距离(例如,七到十英尺)处观看。因此,在一些实施方案中,可以确定应该显示列表的项,使得它们具有第二字体大小F2和第二行间距D2,使得当个人位于靠近电子装置10的显示器212之处(例如,一到三英尺)时更易于观看项。
在步骤422处,可以基于新的字体大小和新的行间距确定列表的一个或多个额外部分现在可以适合用户界面。例如,当显示用户界面300的列表的项时,可以将所述项显示为具有第一字体大小F1和第一行间距D1。此外,列表中可能有两个以上的项,并且由于字体大小和行间距,只有项306和308可以是可观看到的。然而,当使用第二字体大小F2和第二行间距D2显示项时,可能能够在用户界面350内呈现更多项,诸如项362和364。此外,在一些实施方案中,当字体大小和行间距改变时,现在可以观看到已经呈现的项的一些部分。在步骤424处,可以在电子装置10的显示器212上呈现包括额外项362和364以及项354和356的第二用户界面350,其中项354、356、362和364中的每一者可以第二字体大小F2显示并具有第二行间距D2。
图5是根据各种实施方案的用于取决于对电子装置的额外输入而以第一格式或第二格式呈现用户界面的过程的说明性流程图。在一个实施方案中,过程500可以在步骤502处开始。在步骤502处,可以在电子装置的显示器(诸如触摸屏)上以第一格式呈现用户界面。例如,可以在电子装置10的显示器212上呈现图1的用户界面20或图3A的用户界面300。在一些实施方案中,用户界面20或300可以包括项列表,其中列表的每一项可以第一字体大小显示并且在每一项之间具有第一行间距。例如,用户界面300可以第一字体大小F1显示第一项304和第二项306,并且可以分别在第一行和第二行上的第一项304和第二项306可以在第一行与第二行之间具有第一行间距D1。在一些实施方案中,用户界面(诸如用户界面300)的第一格式可以被配置为使得其从距触摸屏第一距离处被最佳地观看。例如,可以设置第一字体大小F1和第一行间距D1,使得第一项304和第二项306可易于从七到十英尺远处观看,然而本领域技术人员将认识到该距离仅仅是示例性的。
在步骤504处,可以在呈现用户界面的触摸屏(例如,显示器212)上检测滚动手势。在一些实施方案中,可以通过检测到在第一位置处与触摸屏进行接触超过预定义时间段,从而指示该接触对应于非轻击手势,并且然后检测到与触摸屏的接触从第一位置移动到第二位置来确定滚动手势。例如,诸如个人2的手指8的物体可以在第一位置310处接触显示器212,使得电子装置10检测到驱动线218与感测线216的第一交叉点的电容变化。在一些实施方案中,电子装置10可以确定手指8与触摸屏(例如,显示器212)保持接触,并且还从第一位置310移动到第二位置360。例如,可以检测第一交叉点附近的第二交叉点的电容变化,接着是第二交叉点附近的第三交叉点的电容变化,依此类推,结束于与第二位置360对应的最终交叉点。
在步骤506处,可以第二格式显示用户界面。响应于检测到滚动手势,电子装置10可以被配置为显示图1的用户界面30或图3的用户界面350,两个用户界面都是第二格式。例如,现在可以第二字体大小F2显示列表的项,并且项可以具有第二行间距D2。在一些实施方案中,以第二字体大小F2显示项并具有第二行间距D2,可以更易于从第二距离处观看用户界面350。例如,可以显示用户界面350,使得其从距显示器212一到两英尺处被最佳地观看。这可能是因为,响应于检测到滚动手势,电子装置10可以确定个人很可能位于靠近显示器212之处,因为他们能够在其上执行触摸手势。因此,可以呈现用户界面350或用户界面30,使得其可易于从近距离处观看,这与为了远处观看而优化的第一格式相反。在一些实施方案中,还可以基于项的字体大小和行间距减小来在用户界面350内显示的一个或多个额外项。此外,在一些实施方案中,响应于滚动手势的初始触摸输入,可能已“选择了”特定项,并且该项可以与滚动手势并行地移动,以确保个人的焦点保持在该项上。
在步骤508处,可以确定触摸屏是否已经检测到任何额外触摸输入。例如,在已经检测到滚动手势并且已经修改了用户界面的格式之后,个人可以从用户界面上显示的项中选择项。作为另一示例,个人可以在滚动手势之后修改列表以改变以第二格式显示的项。如果在步骤508处确定已经检测到额外触摸输入,则过程500可以进行到步骤516,在步骤516处用户界面可以继续以第二格式显示。例如,因为已经检测到额外触摸输入,所以这可能意味着个人2正在与触摸屏交互,并且因此仍然位于靠近电子装置10之处。因此,可以继续在显示器212上显示用户界面30或350。然而,如果未检测到额外触摸输入,则过程500可以进行到步骤510。
在步骤510处,可以确定电子装置10是否已经检测到语音命令。如上所述,电子装置10还可以对应于语音激活的电子装置。因此,响应于检测到诸如“Alexa”的唤醒词,电子装置10可以被配置为记录唤醒词之后的后续言语并将其解释为可行动的输入。在一些实施方案中,电子装置10可以向后端系统100发送表示话语“Alexa-天气怎么样?”的音频数据,并且可以从后端系统100接收表示对话语的响应的音频数据,其可以通过扬声器210和/或在显示器212上输出。此外,在一些实施方案中,因为在步骤510处接收到语音命令,所以电子装置10可以确定个人2不再位于“靠近”电子装置10之处(例如,大于一臂之遥),并且因此可以返回为在步骤512处以第一格式显示列表或其他内容。例如,电子装置10可以响应于正在说出的话语“Alexa-天气怎么样?”而显示第一用户界面20或第一用户界面300,其中可以优化第一用户界面20和/或第一用户界面300以用于从远处观看。
然而,如果在步骤510处确定没有说出话语(例如,没有包括唤醒词的话语),则过程500可以进行到步骤518。在步骤518处,可以确定用户是否被确定为在电子装置附近。在一些实施方案中,如下文更详细地描述的,可以基于相机214、蓝牙能量、接近传感器、电磁场变化、面部检测技术或任何其他合适的技术,或其任何组合来确定个人与电子装置10之间的距离。如果在步骤518处确定用户位于电子装置10附近,则过程500可以进行到步骤516,在步骤516处用户界面可以继续以针对“附近”或“近处”观看优化的第二格式显示。然而,如果在步骤518处确定用户不再在电子装置10附近,则过程500可以进行到步骤514。在步骤514处,可以确定是否已经经过了预定义时间段,预定义时间段对应于电子装置10的超时时段。例如,如果在几秒(例如,两秒、五秒、十秒等)内没有接收到触摸输入和没有接收到语音命令,则可以确定个人2不再观看电子装置10或与电子装置10交互。如果在步骤514处确定已经经过了超时时段,则过程500可以进行到步骤512,在步骤512处可以第一格式呈现用户界面。然而,在一些实施方案中,如果在步骤514处确定已经经过了超时时段,则可以在电子装置10的显示器212上呈现不同的用户界面,诸如空闲模式用户界面或睡眠状态用户界面。例如,可以在显示器212上呈现屏幕保护程序。作为另一示例,可以在显示器212上不呈现图像或内容。然而,如果在步骤514处确定尚未经过超时时段,则过程500可以进行到步骤516,在步骤516处可以继续显示第二用户界面350。
图6A至图6D是根据各种实施方案的取决于个人与电子装置的接近度以及对电子装置执行的触摸手势而呈现各种用户界面的电子装置的说明图。在一些实施方案中,个人(诸如个人2)可以位于距其电子装置610第一距离X1处,诸如在图6A内。在说明性的非限制性实施方案中,电子装置610可以基本上类似于电子装置10,不同之处在于电子装置610的显示器212可以足够大以使电子装置610可以安装在墙壁上或支架上。例如,电子装置610可以对应于能够在其上呈现视频和音频内容的五十英寸显示器。在一些实施方案中,额外装置可以执行电子装置610的一个或多个功能。例如,电子装置610的一个或多个麦克风208可以位于与电子装置610通信(例如,硬连线或无线地通信)的额外装置上,然而这仅仅是示例性的。
当位于第一距离X1处时,个人2可以说出话语602,话语602可以包括唤醒词(例如,“Alexa”)后跟问题。例如,个人2可以说出话语602-“Alexa-天气预报是什么?”响应于检测到唤醒词,电子装置610可以生成并向后端系统100发送表示包括唤醒词后跟问题的话语的音频数据。后端系统100可以例如使用ASR模块258的STT模块266生成表示话语的文字数据,并且可以使用NLU模块260确定话语的意图。此外,后端系统100可以从类别服务器/技能模块262的一个或类别服务器/技能获得响应信息,诸如从天气应用程序获得的天气信息。在接收到响应信息之后,后端系统100可以使用TTS模块264生成表示响应消息的响应音频数据。例如,可以生成并且向电子装置610发送说“这是当前天气预报”的响应消息,所述响应消息又可以通过电子装置610的一个或多个扬声器(例如,扬声器210)输出。
在一些实施方案中,后端系统100还可以生成用于将在电子装置610的显示器上显示的用户界面的显示数据。例如,后端系统100可以生成表示第一用户界面604的显示数据。在接收到显示数据后,电子装置610可以被配置为在显示器212上显示第一用户界面604。在说明性实施方案中,第一用户界面604可以包括项(诸如项608)列表,其可以显示在第一用户界面604的任何合适部分内。例如,项608可以对应于指示一周中一天或多天的一个或多个天气模式和/或温度的天气项。
在一些实施方案中,除了向后端系统100发送表示命令602的音频数据之外,电子装置610还可以被配置为发送表示个人2与电子装置610之间的大致距离的位置数据。例如,电子装置610可以发送指示个人2位于距电子装置610第一距离X1处的位置数据。在一些实施方案中,后端系统100可以进一步被配置为制定第一用户界面604,使得其可由个人2在位于第一距离X1处时最佳地观看。例如,电子装置610可以确定个人2位于距电子装置610大约十到十五英尺之处。因此,在接收到指示个人2位于十到十五英尺远处的位置数据后,后端系统100可以生成表示第一用户界面604的显示数据,使得第一用户界面604当在电子装置610的显示器212上呈现时包括项608,项608以第一大小或第一定向显示,使得它们可易于由个人2观看。在一些实施方案中,并非所有获得的响应信息都能够在被呈现以使得项具有第一大小/定向时适合第一用户界面604,而是,该信息可以在个人2提供额外输入后获得。
电子装置610可能能够使用一种或多种技术确定第一距离X1。在一些实施方案中,电子装置610可以包括一个或多个相机614,其能够在捕获的图像内检测个人2的人体部分,诸如头部或躯干,以及确定个人2所处的背景环境的一个或多个成分。使用检测到的人体部分和/或背景环境,相机614和电子装置610可以能够确定第一距离X1。在一些实施方案中,相机612的视野相对于与个人的面部相关联的感兴趣区域(“ROI”)的比率。作为说明性示例,如果比率大于预定义比率阈值。例如,视野相对于关于个人2的面部的ROI的比率可以是70%。如果预定义比率阈值是60%,则这可以指示个人2在电子装置610的1-3英尺内。在一些实施方案中,可以存在多个比率阈值,每个阈值对应于个人2与电子装置6之间的不同的大致距离。例如,如果比率是30%,则这可以指示个人2位于距电子装置10 15-20英尺处,因为距电子装置610 15-20英尺的预定义比率阈值可以是25%。作为又一示例,如果比率是50%,则这可以指示个人2位于距电子装置10 7-15英尺处,因为距电子装置610 7-15英尺的另一预定义比率阈值可以是40%。然而,本领域技术人员将认识到,任何预定义比率阈值可以与距电子装置610的任何特定距离相关联,并且前述内容仅仅是说明性的、非限制性的和示例性的。
在另一实施方案中,电子装置610可以能够基于由位于其上的一个或多个麦克风208检测到的命令602的强度来确定第一距离X1。例如,电子装置610可以包括用于检测来自十到十五英尺远处的声音的一个或多个麦克风、用于检测来自五到十英尺远处的声音的一个或多个麦克风,以及用于检测来自不到五英尺远处的声音的一个或多个麦克风。取决于哪个(哪些)麦克风检测到命令602,可以确定个人2与电子装置610之间的大致距离,并且该距离可以用于确定将显示第一用户界面604的格式。本领域技术人员将认识到,尽管电子装置610的相机614和/或麦克风208可以用于确定个人2距电子装置610的距离,但是可以采用用于近似个人2距电子装置610的距离的任何其他合适的技术,例如能量、无线连接强度、雷达或任何其他功能,或其任何组合,并且前述内容仅仅是示例性的。
在图6B中,个人2现在可以位于距电子装置610第二距离X2处。在一些实施方案中,可以使用前述距离近似技术中的一种或多种来确定个人2距电子装置610的距离。第二距离X2可以例如对应于小于第一距离X1的距离。例如,个人2可以位于距电子装置610大约五到十英尺之处。
在一些实施方案中,电子装置610可以向后端系统100提供对应于第二距离X2的第二位置数据。例如,响应于确定个人2现在位于距电子装置610第二距离X2处,电子装置610可以被配置为向后端系统100发送该信息。然后,后端系统100可以向电子装置10提供更新后的用户界面,诸如第二用户界面624,以在显示器212上显示。第二用户界面624可以类似于第一用户界面604,不同之处在于第二用户界面624可以被格式化,使得其可由个人2在位于第二距离X2处时最佳地观看。例如,第二用户界面624可以包括项628,项628可以具有第二大小和/或第二位置。在一些实施方案中,项628可以包括项608中的一些或全部,虽然这些项可以被不同地格式化。例如,项608对应于呈第一大小的星期一和星期二两天的天气图标和温度。项628可以对应于呈第二大小的星期一和星期二以及另外两天星期三和星期四的天气图标和温度。由于第二用户界面624可以第二大小显示项628,因此可以在第二用户界面624内呈现比在第一用户界面604内能够显示的项更多的项。然而,可能仍然可以观看额外项(例如,星期五天气图标和温度),但是由于第二用户界面624内的项628的第二大小,那些额外项最初可能是观看不到的。
在一些实施方案中,响应于确定个人2位于距离X2处,电子装置610可以被配置为显示第二用户界面624。在该特定情形中,电子装置610可能不需要与后端系统100通信来接收针对第二距离X2优化的更新后的用户界面。相反,在确定个人2位于第二距离X2处后,电子装置610可以被配置为将目前正在显示的用户界面从第一格式(例如,第一用户界面604)修改为第二格式(例如,第二用户界面624)。
在图6C中,个人2现在可以位于距电子装置610第三距离X3处。在一些实施方案中,可以使用前述距离近似技术中的一种或多种再次确定个人2距电子装置610的距离。第三距离X3可以例如对应于小于第一距离X1和第二距离X2的距离。例如,个人2可以位于距电子装置610小于大约五英尺处。
在一些实施方案中,电子装置610可以向后端系统100提供对应于第三距离X3的第三位置数据。例如,响应于确定个人2现在位于距电子装置610第三距离X3处,电子装置610可以被配置为向后端系统100发送该信息。然后,后端系统100可以向电子装置10提供另一更新后的用户界面,诸如第三用户界面644,以在显示器212上显示。第三用户界面644可以类似于第二用户界面624,不同之处在于第三用户界面644可以被格式化,使得其可由个人2在位于第三距离X3处时最佳地观看。例如,第三用户界面644可以包括项648,项648可以具有第三大小和/或第三位置。在一些实施方案中,项648可以包括项608和/或628中的一些或全部,虽然那些项可以被不同地格式化。例如,项648可以对应于呈第三大小的星期一至星期五的天气图标和温度。由于第三用户界面654可以第三大小显示项658,因此可以呈现比在第一用户界面604或第二用户界面624内能够显示的项更多的项。此外,在一些实施方案中,关于项648的额外信息也可以包括在第三用户界面644内。例如,在第一用户界面604和第二用户界面648中,每一项可以仅包括星期几、对应于该天的当前天气的图标以及温度。在第三用户界面644中,由于能够呈现的内容量增加,可以更精细的细节显示项648。例如,除了呈现星期一、星期二、星期三、星期四和星期五的项648之外,还可以呈现当天的各个部分(例如,上午9点、下午12点、下午3点、下午6点)的天气细分和当天的那些部分中的每一者的温度。由于个人2位于第三距离X3处,因此可以更易于呈现项648内包括的额外内容,因为项648可以第三大小显示,能够从近距离处清楚地观看,与例如以第一大小显示以便从远处观看的图6A的项604相反。
在一些实施方案中,响应于确定个人2位于第三距离X3处,电子装置610可以被配置为显示第三用户界面644。在该特定情形中,电子装置610可能不需要与后端系统100通信来接收针对第三距离X3优化的更新后的用户界面。相反,在确定个人2位于第三距离X3处后,电子装置610可以被配置为将目前正在显示的用户界面从第一格式(例如,第一用户界面604)或第二格式(例如,第二用户界面624)修改为第三格式(例如,第三用户界面644)。
在一些实施方案中,个人2可以使用手指12在第一位置630处接触电子装置610的显示器212。显示器212可以例如是触摸屏,如上文更详细地描述的,并且显示器212还可以在其上呈现第三用户界面644。因此,当个人2位于距电子装置610第三距离X3处时,个人2可能能够向电子装置610提供一个或多个触摸输入以修改或访问项648,和/或激活电子装置610的一个或多个额外功能。作为说明性示例,个人2可以在第一位置630处接触触摸屏以通过在向上方向上移动他们的手指来开始执行滚动手势。
在图6D中,个人2可以仍然位于距电子装置610第三距离X3处,然而个人2可能已经执行或者可能仍然在执行滚动手势,使得手指12不位于显示器212上的第二位置632处。电子装置610可以被配置为检测滚动手势,如上文更详细地描述的,并且可以使第四用户界面664显示在显示器212上。在一些实施方案中,第四用户界面664可以包括额外项或修改后的项668。例如,项668可以包括与第三用户界面644的项648相同的项中的一些,然而在第四用户界面664中,甚至可以提供更多细节。
作为说明性示例,可以确定所执行的滚动手势与第三用户界面644的项648的星期五天气信息相关联。响应于检测到滚动手势,电子装置610可以呈现关于星期五天气信息的额外信息,诸如对那天的各个时间段期间的天气的描述。在一些实施方案中,项668可以第四大小显示或在第四位置显示,并且先前在第三用户界面644内呈现的项中的一些可以被移除或更改。例如,可以从第四用户界面664移除星期一和星期二的天气信息。本领域技术人员将认识到,天气信息的用户仅仅是示例性的,并且可以在任何用户界面内呈现任一项或多项、列表、分组或内容集合,并且前述内容仅仅是示例性的。
在一些实施方案中,响应于由电子装置610检测到语音命令,可以再次在电子装置610的显示器212上呈现先前用户界面(例如,第一、第二或第三用户界面604、624或644)中的一个或多个。此外,如果经过了对应于超时时段的预定义时间段并且电子装置610未检测到额外触摸输入或语音命令,则也可以在显示器212上呈现先前用户界面中的一个。然而,如果在触摸屏(例如,显示器212)上检测到额外触摸输入,则电子装置610可以继续显示第四用户界面664,因为个人2很可能仍然位于距离X3处,并且因此个人2可能仍然在与触摸屏交互。
图7是根据各种实施方案的用于取决于个人与电子装置的接近度和由电子装置检测到的触摸手势而呈现各种用户界面的过程的说明性流程图。在一些实施方案中,过程700可以在步骤702处开始。在步骤702处,可以由电子装置接收表示命令的音频数据。例如,电子装置610可以接收由个人2说出的命令602的音频。命令602可以包括用于电子装置610的唤醒词的话语,唤醒词随后可以跟随问题/陈述/请求。在检测到唤醒词(例如,“Alexa”)后,电子装置610的一个或多个麦克风208可以记录命令602的音频。在一些实施方案中,电子装置610可以向后端系统100发送表示命令602的音频数据以获得对命令602的响应。
在步骤704处,可以确定个人2或提供命令的个人位于距电子装置610第一距离处。例如,个人2可以位于距电子装置610第一距离X1处。在一些实施方案中,可以基于由相机614、麦克风208或任何其他接近度检测构件或其任何组合捕获的图像来确定电子装置610与个人2之间的距离。在一个示例性实施方案中,电子装置610可以确定第一距离(例如,第一距离X1)距电子装置610大约十到十五英尺。
在步骤706处,可以确定将在电子装置610的显示器212上显示的内容。在一些实施方案中,电子装置610可以向后端系统100发送表示命令602的音频数据,并且后端系统100可以向电子装置610发送表示将要呈现的用户界面的显示数据。在步骤708处,可以确定内容的第一格式。例如,电子装置610还可以向后端系统100发送指示个人2位于第一距离X1处的位置数据。在这种情形中,将在电子装置610的显示器212上显示的内容可以被格式化,使得它可由位于第一距离X1处的个人2最佳地观看。例如,如果第一距离X1对应于个人2距电子装置610十到十五英尺,则内容可以被格式化,使得其将易于由十到十五英尺远处的个人2观看。
在步骤710处,可以在电子装置610的显示器212上以第一格式呈现内容。在一些实施方案中,可以呈现第一用户界面604,其可以被格式化使得项608可由位于距离X1处的个人2观看。例如,可以第一大小显示项608,第一大小可以足够大,使得项608可易于由位于距上面可以呈现第一用户界面604的显示器212十到十五英尺之间的个人观看。本领域技术人员将认识到,参考过程700,可以关于步骤702-710使用第一距离X1和第一用户界面604或第二距离X2和第二用户界面624。
在步骤712处,可以确定个人2现在位于距电子装置610第二距离处。例如,电子装置610可以基于由相机614或通过任何其他合适的技术捕获的图像来确定个人2现在可能位于距电子装置610距离X3处。基于个人2位于距离X3处,电子装置610可以在步骤714处确定先前显示的内容现在将以第二格式显示。例如,基于个人2位于距离X3处,电子装置610可以在显示器212上呈现用户界面644。如上文更详细地描述的,用户界面644可以被格式化,使得其从近距离(诸如小于五英尺远)处被最佳地观看。在一些实施方案中,因为将距离X3确定为距电子装置610五英尺或更少,所以可以确定用户界面644是显示项648的最佳用户界面,使得个人2可以易于在该距离处观看项648和/或与它们交互。在一些实施方案中,与用户界面604的项608相比,用户界面644可以不同大小、形状和/或在不同位置呈现项648。例如,与项604相比,项648可以较小大小、较小字体、较小行间距或以任何其他合适的方式显示,使得项648易于从近距离(例如,小于五英尺)处观看。在步骤716处,可以第二格式显示内容。例如,可以在电子装置610的显示器212上呈现用户界面644。
在步骤718处,可以在显示器212上的第一位置处检测滚动手势,显示器212可以是触摸屏。例如,可以在第一位置630处检测与触摸屏的接触。在一些实施方案中,可以基于在该接触的位置改变的同时与触摸屏维持接触而检测滚动手势。例如,最初可以在第一位置630处检测到与触摸屏的接触,但是接触可以移动到第二位置632。
响应于检测到滚动手势,电子装置610可以被配置为在步骤720处以第三格式呈现内容。例如,因为检测到滚动手势,所以这可以指示个人2位于电子装置610附近,并且可以能够与显示器212交互。因此,可以修改或以不同格式显示项648中的一些或全部,以向个人2提供增强的用户体验。例如,项668可以显示在用户界面664内,使得项668的大小小于其他用户界面的项608或628,在其他用户界面情况下个人2位于较远离电子装置610之处。
在步骤722处,可以确定额外内容能够在步骤720的内容的第三格式内显示。例如,可以确定额外信息(诸如用户界面664的项668所看到的详细天气信息)是可显示的。在步骤724处,可以在电子装置610的显示器212上呈现额外内容以及所显示的先前内容中的一些或全部。
本发明的各种实施方案可以通过软件实现,但也可以用硬件实现,或者以硬件和软件的组合实现。本发明还可以体现为计算机可读介质上的计算机可读代码。所述计算机可读介质可以是可以之后由计算机系统读取的任何数据存储装置。
也可以根据以下条款来理解上述内容。
1.一种方法,所述方法包括:
在包括触摸屏的语音激活的电子装置处生成表示第一话语的第一音频数据,所述第一话语包括唤醒词随后跟随对将要显示的项列表的第一请求;
向后端系统发送所述第一音频数据;
从所述后端系统接收包括所述项的第一用户界面的第一显示数据;
在所述触摸屏上显示所述第一用户界面,使得沿着所述列表的第一水平行显示所述项中的第一项,并且沿着所述列表的第二水平行显示所述项中的第二项,其中显示包括:
以第一字体大小显示所述第一项;以及
以所述第一字体大小显示所述第二项,所述第一项和所述第二项在其之间具有第一行间距,使得所述第一用户界面被优化以用于在距所述触摸屏超过手臂长度的第一距离处观看;
确定在所述触摸屏上执行了第一滚动手势,使得手指从在所述触摸屏上的显示了所述第一项的第一位置处与所述触摸屏接触移动到在所述触摸屏上的第二位置处与所述触摸屏接触;
确定用于所述第一项和所述第二项的第二字体大小,所述第二字体大小小于所述第一字体大小;
确定将所述第一水平行与所述第二水平行分开的第二行间距,所述第二行间距小于所述第一水平行间距;以及
在所述触摸屏上显示第二用户界面,包括:
在所述第二位置处显示所述第一项,使得所述第一项保持水平地平行于所述手指接触所述触摸屏的接触位置;
以所述第二字体大小显示所述第一项;以及
以所述第二字体大小显示所述第二项,所述第一项和所述第二项在其之间具有所述第二行间距,使得所述第二用户界面被优化以用于在距所述语音激活的电子装置两英尺或更少的第二距离处观看。
2.如条款1所述的方法,所述方法还包括:
确定所述语音激活的电子装置的相机的视野;
接收表示由所述语音激活的电子装置的相机捕获的第一图像的图像数据;
确定面部包括在所述第一图像内;
确定与所述面部相关联的感兴趣区域(“ROI”);
确定所述视野相对于所述ROI的第一比率;
确定所述第一比率大于预定义比率阈值,从而指示所述面位置于大约所述第一距离处;
生成表示第二话语的第二音频数据,所述第二话语包括所述唤醒词随后跟随对天气信息的第二请求,所述第二话语由所述语音激活的电子装置的麦克风检测到;
向所述后端系统发送所述第二音频数据;
接收第三用户界面的第二显示数据,所述第三用户界面包括与当前天气预报相关联的图片和文字;以及
在所述触摸屏上显示所述第三用户界面,所述第三用户界面包括以第一图片大小显示的所述图片和以所述第一字体大小显示的所述文字,使得所述第三用户界面被优化以用于在所述第一距离处观看。
3.如条款1所述的方法,其中显示所述第二用户界面还包括:
沿着所述列表的第三水平行显示所述项中的第三项,使得所述第三项显示在所述触摸屏上的第三位置处,所述第三项与所述第二项具有第一间距差异,使得所述第二项在所述触摸屏上位于所述第三项上方;
以所述第二字体大小显示所述第三项;
沿着所述列表的第四水平行显示所述项中的第四项,使得所述第四项显示在所述触摸屏上的第四位置处,所述第四项与所述第三项之间也具有所述第一间距,使得所述第三项在所述触摸屏上位于所述第四项上方;
以所述第二字体大小显示所述第四项;以及
在所述第二用户界面内显示所述第一项、所述第二项、所述第三项和所述第四项,其间具有所述第二行间距,使得所述第一项、所述第二项、所述第三项和所述第四项在所述第二距离处被最佳地观看。
4.如条款1所述的方法,所述方法还包括:
确定所述手指不再与所述触摸屏接触;
确定所述手指接触所述触摸屏与所述手指不接触所述触摸屏之间的第一持续时间;
确定所述第一持续时间大于预定义时间超时阈值,从而指示在所述第二距离处的观看可能不再发生;
再次在所述触摸屏上显示所述第一用户界面,使得沿着所述第一水平行再次显示所述第一项,并且沿着所述第二水平行再次显示所述第二项,所述第一项以所述第一字体大小显示,所述第二项以所述第一字体大小显示,并且所述第一项和所述第二项在其之间具有所述第一行间距,使得所述第一用户界面被优化以用于在所述第一距离处观看。
5.一种方法,所述方法包括:
在可操作以检测触摸输入的显示屏上以第一格式显示第一项和第二项,使得所述第一项和所述第二项可从第一距离处最佳地观看;
检测所述显示屏上的第一位置处的第一触摸输入;
确定所述第一项与所述第一位置相关联;
确定执行了在所述第一位置处开始并移动到所述显示屏上的第二位置的第一滚动手势;
在所述显示屏上的所述第二位置处显示所述第一项;
在所述显示屏上的第三位置处显示所述第二项;以及
在所述显示屏上以第二格式显示所述第一项和所述第二项,使得所述第一项和所述第二项是从第二距离处最佳地观看,所述第二距离小于所述第一距离。
6.如条款5所述的方法,所述方法还包括:
响应于所述滚动手势,在所述显示屏上的第三位置处以所述第二格式显示第三项。
7.如条款5所述的方法,所述方法还包括:
在显示所述第一项和所述第二项之前,生成表示请求显示所述第一项和所述第二项的话语的音频数据;
向远程装置发送所述音频数据;以及
从所述远程装置接收所述第一项和所述第二项的显示数据。
8.如条款5所述的方法,所述方法还包括:
在以所述第二格式显示所述第一项和所述第二项之后,生成表示话语的音频数据;
向远程装置发送所述音频数据;
响应于生成所述音频数据,确定所述第一项和所述第二项将以所述第一格式显示;以及
在所述显示屏上以所述第一格式显示所述第一项和所述第二项。
9.如条款5所述的方法,所述方法还包括:
确定在第一时间段内未检测到额外触摸输入;以及
基于所述第一时间段大于时间阈值,在所述显示屏上以所述第一格式显示所述第一项和所述第二项。
10.如条款5所述的方法,所述方法还包括:
确定用于以所述第一格式显示所述第一项和所述第二项的第一间距;以及
确定用于以所述第二格式显示所述第一项和所述第二项的第二间距,使得所述第二间距小于所述第一间距。
11.如条款5所述的方法,所述方法还包括:
从至少一个图像捕获组件接收表示第一图像的图像数据;
确定所述第一图像包括面部;
确定所述面部距所述至少一个图像捕获组件的大致距离;
基于所述大致距离大于阈值距离,确定所述第一项和所述第二项将以所述第一格式显示;以及
以所述第一格式显示所述第一项和所述第二项。
12.如条款5所述的方法,所述方法还包括:
检测所述显示屏上的第三位置处的第三触摸输入;
确定第三项与所述第三位置相关联;
选择所述第三项;
确定与所述第三项相关联的补充信息;以及
在位于所述第三项附近的第四位置处显示所述补充信息,使得所述补充信息与所述第三项一起显示在所述显示屏上。
13.一种电子装置,所述电子装置包括:
通信电路;
至少一个麦克风;
存储器;
显示屏,所述显示屏可操作以检测其上的触摸输入;以及
至少一个处理器,所述至少一个处理器可操作以:
在所述显示屏上以第一格式显示第一项和第二项,使得所述第一项和所述第二项可从第一距离处最佳地观看;
检测所述显示屏上的第一位置处的第一触摸输入;
确定所述第一项与所述第一位置相关联;
确定执行了在所述第一位置处开始并移动到所述显示屏上的第二位置的第一滚动手势;
在所述显示屏上的所述第二位置处显示所述第一项;
在所述显示屏上的第三位置处显示所述第二项;并且
在所述显示屏上以第二格式显示所述第一项和所述第二项,使得所述第一项和所述第二项是从第二距离处最佳地观看,所述第二距离小于所述第一距离。
14.如条款13所述的电子装置,其中所述至少一个处理器还可操作以:
响应于所述滚动手势,在所述显示屏上的第三位置处以所述第二格式显示第三项。
15.如条款13所述的电子装置,其中所述至少一个处理器还可操作以:
在显示所述第一项和所述第二项之前,生成表示请求显示所述第一项和所述第二项的话语的音频数据;
使用所述通信电路向远程装置发送所述音频数据;并且
确定所述通信电路从所述远程装置接收了所述第一项和所述第二项的显示数据。
16.如条款13所述的电子装置,其中所述至少一个处理器还可操作以:
在以所述第二格式显示所述第一项和所述第二项之后,生成表示话语的音频数据;
使用所述通信电路向远程装置发送所述音频数据;
响应于生成所述音频数据,确定所述第一项和所述第二项将以所述第一格式显示;并且
在所述显示屏上以所述第一格式显示所述第一项和所述第二项。
17.如条款13所述的电子装置,其中所述至少一个处理器还可操作以:
确定在第一时间段内未检测到额外触摸输入;并且
基于所述第一时间段大于时间阈值,在所述显示屏上以所述第一格式显示所述第一项和所述第二项。
18.如条款13所述的电子装置,其中所述至少一个处理器还可操作以:
确定用于以所述第一格式显示所述第一项和所述第二项的第一间距;并且
确定用于以所述第二格式显示所述第一项和所述第二项的第二间距,使得所述第二间距小于所述第一间距。
19.如条款13所述的电子装置,所述电子装置还包括:
至少一个图像捕获组件,其中所述至少一个处理器还可操作以:
生成表示从所述至少一个图像捕获组件接收的第一图像的图像数据;
确定所述第一图像包括面部;
确定所述面部距所述至少一个图像捕获组件的大致距离;
基于所述大致距离大于阈值距离,确定所述第一项和所述第二项将以所述第一格式显示;并且
在所述显示屏上以所述第一格式显示所述第一项和所述第二项。
20.如条款13所述的电子装置,其中所述至少一个处理器还可操作以:
检测所述显示屏上的第三位置处的第三触摸输入;
确定第三项与所述第三位置相关联;
选择所述第三项;
确定与所述第三项相关联的补充信息;并且
在所述显示屏上在位于所述第三项附近的第四位置处显示所述补充信息,使得所述补充信息与所述第三项一起显示在所述显示屏上。
呈现本发明的上述实施方案是为了说明的目的,而无意为限制性的。虽然已经用特定于结构特征的语言描述了主题,但是应理解,在所附权利要求书中限定的主题不必限于所描述的特定特征。而是,特定特征作为实现权利要求的说明性形式来公开。

Claims (15)

1.一种方法,所述方法包括:
在可操作以检测触摸输入的显示屏上以第一格式显示第一项和第二项,使得所述第一项和所述第二项可从第一距离处最佳地观看;
检测所述显示屏上的第一位置处的第一触摸输入;
确定所述第一项与所述第一位置相关联;
确定执行了在所述第一位置处开始并移动到所述显示屏上的第二位置的第一滚动手势;
在所述显示屏上的所述第二位置处显示所述第一项;
在所述显示屏上的第三位置处显示所述第二项;以及
在所述显示屏上以第二格式显示所述第一项和所述第二项,使得所述第一项和所述第二项是从第二距离处最佳地观看,所述第二距离小于所述第一距离。
2.如权利要求1所述的方法,所述方法还包括:
响应于所述滚动手势,在所述显示屏上的第三位置处以所述第二格式显示第三项。
3.如权利要求1或2所述的方法,所述方法还包括:
在显示所述第一项和所述第二项之前,生成表示请求显示所述第一项和所述第二项的话语的音频数据;
向远程装置发送所述音频数据;以及
从所述远程装置接收所述第一项和所述第二项的显示数据。
4.如权利要求1或2所述的方法,所述方法还包括:
在以所述第二格式显示所述第一项和所述第二项之后,生成表示话语的音频数据;
向远程装置发送所述音频数据;
响应于生成所述音频数据,确定所述第一项和所述第二项将以所述第一格式显示;以及在所述显示屏上以所述第一格式显示所述第一项和所述第二项。
5.如任一前述权利要求所述的方法,所述方法还包括:
确定在第一时间段内未检测到额外触摸输入;以及
基于所述第一时间段大于时间阈值,在所述显示屏上以所述第一格式显示所述第一项和所述第二项。
6.如任一前述权利要求所述的方法,所述方法还包括:
确定用于以所述第一格式显示所述第一项和所述第二项的第一间距或第一字体大小中的至少一者;以及
确定用于以所述第二格式显示所述第一项和所述第二项的第二间距或第二字体大小中的至少一者,使得所述第二间距小于所述第一间距。
7.如任一前述权利要求所述的方法,所述方法还包括:
从至少一个图像捕获组件接收表示第一图像的图像数据;
确定所述第一图像包括面部;
确定所述面部距所述至少一个图像捕获组件的大致距离;
基于所述大致距离大于阈值距离,确定所述第一项和所述第二项将以所述第一格式显示;以及
以所述第一格式显示所述第一项和所述第二项。
8.如任一前述权利要求所述的方法,所述方法还包括:
检测所述显示屏上的第三位置处的第三触摸输入;
确定第三项与所述第三位置相关联;
选择所述第三项;
确定与所述第三项相关联的补充信息;以及
在位于所述第三项附近的第四位置处显示所述补充信息,使得所述补充信息与所述第三项一起显示在所述显示屏上。
9.一种电子装置,所述电子装置包括:
通信电路;
至少一个麦克风;
存储器;
显示屏,所述显示屏可操作以检测其上的触摸输入;以及
至少一个处理器,所述至少一个处理器可操作以:
在所述显示屏上以第一格式显示第一项和第二项,使得所述第一项和所述第二项可从第一距离处最佳地观看;
检测所述显示屏上的第一位置处的第一触摸输入;
确定所述第一项与所述第一位置相关联;
确定执行了在所述第一位置处开始并移动到所述显示屏上的第二位置的第一滚动手势;
在所述显示屏上的所述第二位置处显示所述第一项;
在所述显示屏上的第三位置处显示所述第二项;并且
在所述显示屏上以第二格式显示所述第一项和所述第二项,使得所述第一项和所述第二项是从第二距离处最佳地观看,所述第二距离小于所述第一距离。
10.如权利要求9所述的电子装置,其中所述至少一个处理器还可操作以:
响应于所述滚动手势,在所述显示屏上的第三位置处以所述第二格式显示第三项。
11.如权利要求9或10所述的电子装置,其中所述至少一个处理器还可操作以:
在显示所述第一项和所述第二项之前,生成表示请求显示所述第一项和所述第二项的话语的音频数据;
使用所述通信电路向远程装置发送所述音频数据;并且
确定所述通信电路从所述远程装置接收了所述第一项和所述第二项的显示数据。
12.如权利要求9或10所述的电子装置,其中所述至少一个处理器还可操作以:
在以所述第二格式显示所述第一项和所述第二项之后,生成表示话语的音频数据;
使用所述通信电路向远程装置发送所述音频数据;
响应于生成所述音频数据,确定所述第一项和所述第二项将以所述第一格式显示;并且
在所述显示屏上以所述第一格式显示所述第一项和所述第二项。
13.如任一前述权利要求所述的电子装置,其中所述至少一个处理器还可操作以:
确定在第一时间段内未检测到额外触摸输入;并且
基于所述第一时间段大于时间阈值,在所述显示屏上以所述第一格式显示所述第一项和所述第二项。
14.如任一前述权利要求所述的电子装置,其中所述至少一个处理器还可操作以:
确定用于以所述第一格式显示所述第一项和所述第二项的第一间距;并且
确定用于以所述第二格式显示所述第一项和所述第二项的第二间距,使得所述第二间距小于所述第一间距。
15.如任一前述权利要求所述的电子装置,所述电子装置还包括:
至少一个图像捕获组件,其中所述至少一个处理器还可操作以:
生成表示从所述至少一个图像捕获组件接收的第一图像的图像数据;
确定所述第一图像包括面部;
确定所述面部距所述至少一个图像捕获组件的大致距离;
基于所述大致距离大于阈值距离,确定所述第一项和所述第二项将以所述第一格式显示;并且
在所述显示屏上以所述第一格式显示所述第一项和所述第二项。
CN201780037354.5A 2016-06-14 2017-06-13 用于提供最佳观看显示的方法和装置 Active CN109716274B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/182,410 US11250201B2 (en) 2016-06-14 2016-06-14 Methods and devices for providing optimal viewing displays
US15/182,410 2016-06-14
PCT/US2017/037280 WO2017218554A2 (en) 2016-06-14 2017-06-13 Methods and devices for providing optimal viewing displays

Publications (2)

Publication Number Publication Date
CN109716274A true CN109716274A (zh) 2019-05-03
CN109716274B CN109716274B (zh) 2022-06-10

Family

ID=59093641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780037354.5A Active CN109716274B (zh) 2016-06-14 2017-06-13 用于提供最佳观看显示的方法和装置

Country Status (4)

Country Link
US (1) US11250201B2 (zh)
EP (1) EP3469473A2 (zh)
CN (1) CN109716274B (zh)
WO (1) WO2017218554A2 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10783883B2 (en) * 2016-11-03 2020-09-22 Google Llc Focus session at a voice interface device
CN108984239B (zh) * 2018-05-29 2021-07-20 北京五八信息技术有限公司 选择控件的处理方法、装置、设备和存储介质
KR102592907B1 (ko) * 2018-06-22 2023-10-23 삼성전자주식회사 텍스트 입력 디바이스 및 그 방법
US10657968B1 (en) * 2018-11-19 2020-05-19 Google Llc Controlling device output according to a determined condition of a user
US11183186B2 (en) * 2019-01-16 2021-11-23 International Business Machines Corporation Operating a voice response system
KR102656461B1 (ko) * 2019-03-20 2024-04-12 삼성전자주식회사 사용자의 움직임에 기반하여 객체의 속성을 제어하는 전자 장치 및 그 제어 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6956955B1 (en) * 2001-08-06 2005-10-18 The United States Of America As Represented By The Secretary Of The Air Force Speech-based auditory distance display
US20080134081A1 (en) * 2006-12-04 2008-06-05 Samsung Electronics Co., Ltd. Information list display method for mobile terminal
US20090141147A1 (en) * 2007-11-30 2009-06-04 Koninklijke Kpn N.V. Auto zoom display system and method
US20090164896A1 (en) * 2007-12-20 2009-06-25 Karl Ola Thorn System and method for dynamically changing a display
US20100283743A1 (en) * 2009-05-07 2010-11-11 Microsoft Corporation Changing of list views on mobile device
CN103207668A (zh) * 2012-01-13 2013-07-17 索尼公司 信息处理装置、信息处理方法及计算机程序
US20130219277A1 (en) * 2012-02-21 2013-08-22 Mobotap Inc. Gesture and Voice Controlled Browser
CN103780945A (zh) * 2012-10-23 2014-05-07 索尼公司 改动布局和文本字体大小以适应观众离电视机的距离
WO2014075046A1 (en) * 2012-11-12 2014-05-15 Microsoft Corporation Dynamic adjustment of user interface
US20140225931A1 (en) * 2013-02-13 2014-08-14 Google Inc. Adaptive Screen Interfaces Based on Viewing Distance

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2012200689B2 (en) 2007-01-07 2015-06-18 Apple Inc. Scaling documents on a touch-screen display
EP2104024B1 (en) * 2008-03-20 2018-05-02 LG Electronics Inc. Portable terminal capable of sensing proximity touch and method for controlling screen using the same
JP5621421B2 (ja) * 2010-09-06 2014-11-12 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
US8654076B2 (en) * 2012-03-15 2014-02-18 Nokia Corporation Touch screen hover input handling
JP2015032095A (ja) * 2013-08-01 2015-02-16 株式会社デンソー 画面表示装置、画面表示方法及び画面表示プログラム
US9361541B2 (en) * 2013-12-11 2016-06-07 Samsung Electronics Co., Ltd. Device pairing in a network
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10678326B2 (en) * 2015-09-25 2020-06-09 Microsoft Technology Licensing, Llc Combining mobile devices with people tracking for large display interactions

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6956955B1 (en) * 2001-08-06 2005-10-18 The United States Of America As Represented By The Secretary Of The Air Force Speech-based auditory distance display
US20080134081A1 (en) * 2006-12-04 2008-06-05 Samsung Electronics Co., Ltd. Information list display method for mobile terminal
US20090141147A1 (en) * 2007-11-30 2009-06-04 Koninklijke Kpn N.V. Auto zoom display system and method
US20090164896A1 (en) * 2007-12-20 2009-06-25 Karl Ola Thorn System and method for dynamically changing a display
US20100283743A1 (en) * 2009-05-07 2010-11-11 Microsoft Corporation Changing of list views on mobile device
CN103207668A (zh) * 2012-01-13 2013-07-17 索尼公司 信息处理装置、信息处理方法及计算机程序
US20130219277A1 (en) * 2012-02-21 2013-08-22 Mobotap Inc. Gesture and Voice Controlled Browser
CN103780945A (zh) * 2012-10-23 2014-05-07 索尼公司 改动布局和文本字体大小以适应观众离电视机的距离
WO2014075046A1 (en) * 2012-11-12 2014-05-15 Microsoft Corporation Dynamic adjustment of user interface
US20140225931A1 (en) * 2013-02-13 2014-08-14 Google Inc. Adaptive Screen Interfaces Based on Viewing Distance

Also Published As

Publication number Publication date
US11250201B2 (en) 2022-02-15
EP3469473A2 (en) 2019-04-17
US20180196782A1 (en) 2018-07-12
WO2017218554A2 (en) 2017-12-21
CN109716274B (zh) 2022-06-10
WO2017218554A3 (en) 2018-02-15

Similar Documents

Publication Publication Date Title
CN109716274A (zh) 用于提供最佳观看显示的方法和装置
US11323658B2 (en) Display apparatus and control methods thereof
US8842919B2 (en) Gesture based interface system and method
CN106502638B (zh) 用于提供视听反馈的设备、方法和图形用户界面
CN110313151A (zh) 来自共享设备的消息传送
US11937021B2 (en) Camera and visitor user interfaces
CN104049744B (zh) 用于操作具有盖子的电子装置的方法和设备
WO2019105227A1 (zh) 应用图标的显示方法、终端及计算机可读存储介质
CN105164714A (zh) 用户终端装置及其控制方法
WO2016145883A1 (zh) 屏幕控制方法、终端和计算机存储介质
US11256463B2 (en) Content prioritization for a display array
CN104049745A (zh) 输入控制方法和支持该输入控制方法的电子装置
AU2012281308A1 (en) Method and apparatus for controlling content using graphical object
US20140253815A1 (en) Input apparatus, display apparatus, and control methods thereof
CN105227985B (zh) 显示设备及其控制方法
CN110109730A (zh) 用于提供视听反馈的设备、方法和图形用户界面
CN107967915A (zh) 显示装置及其控制方法
KR20170045101A (ko) 콘텐트를 외부 장치와 공유하는 전자 장치 및 이의 콘텐트 공유 방법
US20240137462A1 (en) Display apparatus and control methods thereof
DiMartino Statistical Hand Gesture Recognition System Using the Leap Motion Controller

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant