CN105009025A - 基于观看距离的自适应屏幕接口 - Google Patents

基于观看距离的自适应屏幕接口 Download PDF

Info

Publication number
CN105009025A
CN105009025A CN201480008535.1A CN201480008535A CN105009025A CN 105009025 A CN105009025 A CN 105009025A CN 201480008535 A CN201480008535 A CN 201480008535A CN 105009025 A CN105009025 A CN 105009025A
Authority
CN
China
Prior art keywords
user
display
distance
content
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480008535.1A
Other languages
English (en)
Other versions
CN105009025B (zh
Inventor
C·普拉格曼
A·考夫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN201810570586.3A priority Critical patent/CN108762474A/zh
Publication of CN105009025A publication Critical patent/CN105009025A/zh
Application granted granted Critical
Publication of CN105009025B publication Critical patent/CN105009025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

个体可以通过话音命令和手势识别两种机制与诸如显示器上的内容交互。在一个实现方式中，用户与设备或显示器上内容的交互性可以基于用户与显示器之间的距离进行修改。诸如用户简档之类的属性可以用于使显示器的修改适于个体用户。在某些配置方式中，可用于用户的命令还可以基于所确定的用户与设备或显示器之间的距离进行修改。

Description

基于观看距离的自适应屏幕接口
背景技术
数字屏幕存在于诸如游戏环境、商城、餐厅、企业和家庭之类的许多环境中。另外，存在许多触摸或输入设备自治系统。在游戏环境中，控制台可以具有与其连接的深度相机，该深度相机向控制台通信关于用户身体位置的信息。控制台可以根据用户的手势在屏幕上动画角色。例如，如果用户手势是在拳击游戏中出拳，则屏幕上的角色可以使用预定动画序列显示为用相同的手出拳。
发明内容
根据所公开主题的一个实现方式，可以确定用户与设备(诸如显示器)之前的距离。基于确定的距离和属性，可以选择显示器上内容的演示风格。属性可以包括例如：用户高度、内容上下文、用户简档、用户数目、环境和有利位置。基于确定的距离、属性和演示风格中的一个或多个可以确定命令的至少一部分可用于用户。显示器上内容的一部分可以基于内容的演示风格进行修改。
在一个实现方式中，可以接收针对显示器的缩放功能。可以接收针对显示器的内容。可以确定用户与显示器之间的距离。显示器的输出可以基于确定的距离和缩放功能进行修改。
在一个实现方式中，提供了一种包括数据库和处理器的系统。数据库可以存储例如用户偏好、属性、演示风格、关于显示器的信息等。处理器可以被连接到显示器。处理器可以被配置为接收针对显示器的缩放功能。其可以接收针对显示器的内容。在某些配置方式中，处理器可以确定用户与显示器之间的距离或者其可以接收对距离的指示。处理器可以基于确定的距离和缩放功能修改显示器的输出。
所公开主题的附加特征、优势和实现方式可以通过考虑以下具体实施方式、附图说明和权利要求书进行阐述或者变得容易理解。此外，应当理解以上发明内容和以下具体实施方式都是提供实现方式的示例并且旨在提供进一步说明而不限制权利要求书的范围。
附图说明
为提供对本公开主题的进一步理解而包括的附图并入在本说明书中并且构成本说明书的一部分。附图还图示了本公开主题的各实现方式，并且与具体实施方式一起用于解释本公开主题的各实现方式的原理。并未试图示出比对于本公开主题以及在其中可实践本公开主题的各种方法的基本理解所必需的更为详细的结构细节。
图1示出了根据所公开主题的实现方式的计算机。
图2示出了根据所公开主题的实现方式的网络配置。
图3示出了根据一个实现方式的示例处理流。
图4A示出了其中用户在显示器与第一阈值之间的显示器的示例。
图4B示出了其中用户在第一阈值与第二阈值之间的显示器的示例。
图4C示出了其中用户超过第二阈值的显示器的示例。
具体实施方式
显示器或设备上的内容可以基于个体与设备之间的距离进行修改。例如，屏幕上示出的信息或内容的量可以随着用户越靠近屏幕而增加。类似地，基于用户与监视器的距离可以适应可用于用户或向用户呈现的命令。
在一个实现方式中，确定用户与显示器之间的距离。基于所确定的距离，可以确定显示器上内容的演示风格。演示风格可以指的是内容如何显示在显示器上。手势输入可以被接收并且基于所接收的手势输入和内容的演示风格可以修改监视器上内容的至少一部分。
在一个实现方式中，确定用户与显示器之间的距离。基于所确定的距离，可以可用的命令。命令可以指的是基于用户与监视器的距离可用于用户的手势命令。在某些配置方式中，手势输入可以被接收并且基于所接收的手势输入和可用命令可以修改监视器上内容的至少一部分。命令可以指的是可用于用户的命令的数目。命令的功能可以基于距离改变。例如，如果用户与监视器之间的距离被确定为相对较小，则用户指向屏幕可以与“打印”命令相关联。如果距离较大，则指向屏幕可以与放大显示器中手势针对的位置相关联。
内容和可用命令均可以基于距离修改。可以确定用户与监视器之间的距离。基于所确定的距离，可以选择演示风格和可用命令。可以接收手势输入并且基于所接收的手势输入、内容的演示风格和可用命令可以修改监视器上内容的至少一部分。
本公开主题的实施方式可以实现在各种部件和网络架构中，并且利用各种部件和网络架构来使用。图1是适合于本公开主题的实施方式的示例计算机20。计算机20包括总线21，总线21互连计算机20的主要部件，诸如中央处理器24、存储器27(通常为RAM，但是其还可以包括ROM、闪速RAM等)、输入/输出控制器28、诸如经由显示适配器的显示屏幕之类的用户显示器22、其可以包括一个或多个控制器和诸如键盘、鼠标等之类的关联用户输入设备并且可以紧密耦合至I/O控制器28的用户输入接口26、诸如硬盘驱动、闪速存储、光纤通道网络、SAN设备、SCSI设备等之类的固定存储23、以及操作为控制和接收光盘、闪存盘等的可移除介质部件25。
总线21允许在中央处理器24和存储器27之间的数据通信，如先前提到的，存储器27可包括只读存储器(ROM)或闪速存储器(两者均未示出)以及随机存取存储器(RAM)(未示出)。RAM通常是操作系统和应用程序被加载到其中的主存储器。除其他代码，ROM或闪速存储器可以包含基本输入输出系统(BIOS)，基本输入输出系统(BIOS)控制诸如与外围部件的交互之类的基本硬件操作。驻留计算机20的应用通常存储在诸如硬盘驱动(例如固定存储23)、光驱，软盘或其它存储介质25之类的计算机可读介质上，并且经由诸如硬盘驱动(例如固定存储23)、光驱，软盘或其它存储介质25之类的计算机可读介质来访问。
固定存储23可以与计算机20集成，或者可以是分立的并且通过其它接口访问。网络接口29可以提供经由电话链路到远程服务器、经由因特网服务提供商(ISP)到因特网的直接连接，或者经由直接网络链路到远程服务器、经由POP(存在点)或其它技术到因特网的直接连接。网络接口29可以使用包括数字蜂窝电话连接、蜂窝数字分组数据(CDPD)连接、数字卫星数据连接等的无线技术来提供这样的连接。例如，网络接口29可以允许计算机经由一个或多个局域网、广域网或其它网络与其它计算机进行通信，如图2所示。
许多其它设备或部件(未示出)可以以相似的方式连接(例如文档扫描仪、数字相机等)。相反地，图1所示的所有部件不需要都存在以实践本公开。部件可以以与所示方式不同的方式来互连。诸如图1所示计算机之类的计算机的操作本领域很容易知道，并且本申请中未详细讨论。用于实现本公开的代码可以存储在诸如存储器27、固定存储23、可移除介质25中的一个或多个之类的计算机可读存储介质中，或者存储在远程存储位置。
图2示出根据公开主题的实施方式的示例网络布置。诸如本地计算机、智能电话、平板计算设备等之类的一个或多个客户端10、11可以经由一个或多个网络7连接到其他设备。网络可以是本地网络、广域网、因特网、或者一个或多个任何其它适合的通信网络，并且可以实现在包括有线和/或无线网络的任何适合平台上。客户端可以与一个或多个服务器13和/或数据库15通信。设备可以由客户端10、11直接访问，或者一个或多个其他设备可以提供中介访问，诸如其中服务器13提供对数据库15中存储的资源的访问。客户端10、11还可以访问远程平台17或者由远程平台17提供的服务，诸如云计算布置和服务。远程平台17可以包括一个或多个服务器13和/或数据库15。
更一般地，本公开主题的各种实施方式可以包括计算机实现的处理以及用于实践那些处理的装置，或者以计算机实现的处理以及用于实践那些处理的装置的形式来实现。实施方式还可以以具有计算机程序代码的计算机程序产品的形式来实现，计算机程序代码包含实现在诸如软盘、CD-ROM、硬盘驱动、USB(通用串行总线)驱动或者任何其它机器可读存储介质之类的非瞬态和/或有形介质中的指令，其中，当计算机程序代码加载到计算机中并由计算机执行时，计算机变为用于实践公开主题的实施方式的装置。实施方式还可以以例如无论存储在存储介质中、加载到计算机中和/或由计算机执行、还是通过一些传输介质(诸如通过电接线或线缆，通过光纤光学，或经由电磁辐射)传输的计算机程序代码的形式来实现，其中当计算机程序代码加载到计算机中并由计算机执行时，计算机变为用于实践公开主题的实施方式的装置。当实现在通用微处理器上时，计算机程序代码段将微处理器配置为创建具体逻辑电路。在一些配置中，在计算机可读存储介质上存储的计算机可读指令集可以通过通用处理器来实现，其可以将通用处理器或包含通用处理器的设备变换成被配置为实现或执行指令的专用设备。实施方式可以使用硬件来实现，硬件可以包括诸如通用微处理器之类的处理器、和/或以硬件和/或固件实现根据公开主题的实施方式的所有或部分技术的专用集成电路(ASIC)。处理器可耦合到存储器，诸如RAM、ROM、闪速存储器、硬盘、或者有能力存储电子信息的任何其他设备。存储器可以存储适于由处理器执行以执行根据公开主题的实施方式的技术的指令。
在一个实现方式中，在310可以确定用户与设备之间的距离。设备可以是例如显示器、平板、计算设备、监视器、电视、投影屏幕或立体声/扬声器系统。距离可以使用与设备搭配的相机确定。深度相机可以用于从环境捕获一序列图像。收集的图像可以被处理以确定用户或对象是否存在。在某些配置方式中，可以通过面部识别检测用户。由相机捕获的一序列图像可以用于标识特定手势。例如，该序列图像中标识的手势可以与已知手势的数据库进行比较。该数据库可以包含关于手势的特定特征或签名的信息，并且所捕获的图像可以针对这些特征进行分析。针对一序列图像可以生成置信得分，用于指示该序列是否包含给定手势。例如，手势可以是特征集并且一序列图像可以是所述特征的百分比。如果置信得分满足阈值，则图像序列可以被确定包含该手势。模式匹配或图像分析的其他方法可以用于确定用户是否出现在捕获的图像中和/或是否已经接收到手势。
对象(例如，用户)与显示器之间的水平距离可以基于相机的一个或多个捕获图像确定。针对本公开的实现方式，此距离可能不与对象与显示器或相机之间的实际距离相同或相似。用于捕获环境中图像或图像序列的相机可以针对例如来自工厂的距离测量进行校准或者作为由用户执行的装配过程的部件。在某些配置方式中，与设备搭配的单个相机可以用于确定相机与所检测用户之间的距离。在某些配置方式中，相机可以不与显示器搭配但是显示器可以被检测或标识为装配过程的部件。例如，多个相机可以被分布在环境中。每个相机可以向处理单元、数据库、服务器等提供关于环境或相机本身(例如，焦距、透镜大小等)的信息。由相机提供的信息可以用于检测用户、手势或对象(诸如显示器)。具有已知大小的参考对象可以用于辅助显示器与一个或多个相机的视场中其他对象之间的距离确定。本领域技术人员容易理解根据本公开的任意实现方式可以使用用于确定显示器与对象之间距离的其他方法。确定的距离310可以指的是实际距离或其相似值或者相对距离，诸如从环境的图像确定的距离。
返回图3，基于确定的距离和属性，可以在320选择显示器上内容的演示风格。演示风格可以指的是所显示内容的细节级别并在下文进一步论述。属性的示例可以包括：用户高度、内容上下文、用户简档、用户数、环境和有利位置。例如，用户可以向用户简档录入包括用户的照片、用户高度的信息。用户简档还可用允许用户配置用户偏好的演示风格来以各种距离从显示器观看。一个用户可能偏好包括在四十厘米处触摸界面的高级别细节，而另一用户可能偏好使得最少内容被显示而不考虑距离。包括用户简档的属性可以被存储在数据库上。属性还可以包括用户数。如果检测到多个用户，则系统可以确定至少一个用户与显示器的中值或平均距离。内容上下文可以指的是例如正在播放的内容，诸如网页、视频游戏、游戏模式、视频、文本、音乐、图像等。类似地，环境可以指的是显示器的位置。位置可以是例如公共显示器、起居室、舞厅、会议中心等。有利位置可以指的是用户相对于显示器的位置。例如，明显偏离显示器中心轴线的用户可以接收与如果用户以相同距离远离但在中心轴线上不同的演示风格。在某些配置方式中，用户可以被认定为具有主要控制。系统可以被配置为出于修改显示器的目的而忽略其他对象/用户。主要用户可以在用户简档中配置或者其可以指的是系统在启动时检测到的第一个体或作为房间内或环境中的第一人。
除了显示基于距离改变的内容，可用于用户的命令可以基于所确定的距离确定。命令可用性还可以指的是基于距离向相同命令指派的不同功能。命令可以指的是手势、话音命令或者由键盘、鼠标或输入设备接收的输入。在某些配置方式中，所显示的内容量可以随着用户远离显示器而减少。如果所显示的内容是视频，则在远距离显示器可能仅示出该视频和播放/暂停按钮。可用于用户的命令可以包括停止/暂停和退出。在更近的距离，用户可以被允许访问附加控件。例如，除了播放/暂停和退出，视频还可以具有更多控件，诸如快进/快退。在某些配置方式中，命令的功能可以被改变。例如，当用户被确定靠近屏幕时，快进可以以10倍回放速度进行，而当用户远离屏幕时，快进可以以5倍回放速度进行。
在某些配置方式中，所确定的距离可以被映射到范围。范围可以是例如远离屏幕0-1米。范围还可以由阈值限定。例如，预定阈值以下的任何距离可以与特定演示风格相关联。组成范围的距离可以诸如基于早先所述的属性预定义或者由最终用户配置。针对给定系统的范围数目也可以诸如基于早先所述的属性预定义或者由最终用户配置。在某些配置方式中，所确定的用户与显示器之间的距离可以被映射到包括距离范围和对应演示风格的表中。该表可以诸如基于早先所述的属性预定义或者由最终用户配置。在某些配置方式中，期望演示风格与所确定的距离线性相关，而在其他实例中期望所确定的距离与演示风格之间具有非线性关系。
在330，显示器上内容的至少一部分可以基于内容的演示风格进行修改。类似地，可用于用户的命令可以基于距离进行修改。例如，可以确定用户与显示器之间的距离超过阈值距离。显示器上内容的量可以被增加或减少。命令的数目可以响应于所确定的距离增加或减少。可用命令不与演示风格相应地修改。例如，演示风格可以具有与需要增加/减少否则修改可用命令不同的阈值。
图4A至图4C示出了内容可以如何基于用户与显示器的距离改变的示例。在图4A中，显示器420与深度相机410搭配示出。深度相机410从显示器位置捕获图像并且可以针对命令数据(例如，手势)处理图像或者向用于这种分析的处理器传送图像序列。显示器420示出了具有第一窗口430、第二窗口440和第三窗口450的网页，该第一窗口430示出了赛车比赛，该第二窗口440示出了用户评论，以及该第三窗口450示出了与第一窗口430中所示一个赛车相关的视频。基于从相机410获得的数据，用户可以被确定在由第一阈值标记470和显示器420呈现的范围内。基于所确定的距离，可以向用户460显示最大内容量。除了所确定的距离还可以利用属性(诸如显示器大小)、正在显示的内容的源、用户简档等来修改所显示的内容。因为用户460被确定接近显示器420或在显示器420与第一阈值470之间，所以可以向用户460提供对web浏览体验的所有典型命令的访问，如果显示器提供触摸使能界面，则包括触摸使能交互。然而，用户460可能无法与语音命令或手势命令交互。
在图4B中，用户460在由第一阈值470和第二阈值标记480限制的范围内。第一窗口431现在以标题栏被省略出现。第二窗口441示出了相关视频；但是其没有指示针对图4A中所示每个视频的标题。第三窗口451显示了关于正在第一窗口431中查看的视频的信息。用户460可以具有对在此范围的口头命令和基于手势的命令的访问，诸如信令语音、抓/拉窗口、放大窗口、挥击或投掷。
在图4C中，用户460超过第二阈值480。在此范围中，显示器420可以仅示出包含视频的单个窗口432。用户可以具有仅对口头命令或手势命令的子集的访问，诸如开/关、播放/暂停、音量和搜索。如果用户460进入由第一阈值470和第二阈值480限定的范围，则显示器420可以改变到图4B中示出的一个窗口。演示风格和可用命令的确定可以是动态过程，响应于用户的距离、属性或房间内用户的数目。用户可以被确定远离监视器指定距离。该指定距离可以被确定落入使得可用于用户的命令的类型被限制或扩展以及使得屏幕上显示的内容的格式简约的范围内。例如，命令可以被限制到滚动和/或选择条目甚至话音命令。简约演示风格可以例如呈现大图标、大文本和较少选项，这是因为用户被确定大距离远离。类似地，该指定距离可以被确定在使得更多明确命令可用于用户以及使得更详细呈现内容的阈值之下。例如，用户可以被允许滚动、访问菜单、拖放文件、选择监视器上单个条目等。提供的内容还可以详细说明，诸如提供菜单、网页的全文本、完整文件目录等。因此，可以基于用户与显示器的距离适配显示器和/或命令界面。
在一个实现方式中，可以接收针对显示器的缩放功能。缩放功能可以指的是用户偏好。例如，用户偏好可以指定在各种距离、范围、所检测到的用户数目或内容源(诸如web浏览、视频、多媒体、音频等)针对显示器的演示风格。例如，可以使用面部识别、话音识别、模式识别等检测用户。在没有检测到用户的情况下，显示器可以采取修改的功能，诸如关闭、暂停或提供延迟的解激活。用户的偏好可以被存储在本地或远程数据库上并且提供给予显示器修改相关联的处理器。缩放功能可以指的是内容在显示器上显示的方式。可以接收针对显示器的内容。可以确定用户与显示器之间的距离。显示器的输出可以基于所确定的距离和缩放功能进行修改。在某些配置方式中，可用于用户的手势集可以基于显示器、所确定的距离和缩放功能中的至少一个进行指派。命令可用性可以基于所确定的距离进行确定。命令的可用性可以基于如早先所述的所确定的距离进行修改。
在某些实例中，内容可以由例如机顶盒提供并且向接收器或A/V处理器发送。负责提供显示器修改的指示的处理器可以是A/V接收器的部件、显示器本身或另一本地或远程处理器。例如，A/V处理器可以向本地处理器传送视频信息，该本地处理器根据演示风格、缩放功能、属性和所确定的距离中的至少一个修改数据流。处理器可以向与显示器相关联的处理器传送修改。
距离可以通过若干方式影响显示器输出，其中一些方式以及在早先进行了描述。信息可以基于距离进行缩放。例如，从远处，两个标题在显示器上可见；但是，随着用户更靠近显示器，更多标题可以出现和/或来自一个或多个文章的文本可以在每个标题下出现。
用户界面可以适配于距离。例如，如果用户在显示器的触摸距离，按钮和其他触摸指示符可以建议用户如何导航内容/与内容交互。然而，如果用户远离，则按钮或触摸指示符可能消失或改变以建议用户现在是话音或手势命令响应。
音量也可以基于用户距离适配。例如，如果用户正在厨房进行视频聊天并且远离用于聊天的膝上型计算机所处的桌子，则扬声器音量和麦克风敏感度可以自动调整以补偿用户增加的距离。当用户返回时，扬声器音量和麦克风敏感度可以重新调整，从而向用户和该用户与之聊天的人提供恒定音量的印象。
如早先所述以及图4A至图4C中所示，内容密度可以基于距离修改。例如，如果用户正在播放音乐并且远离屏幕，则显示器可以示出正在播放的歌曲的曲目。如果用户站立在显示器附近，则显示器可以示出播放列表、与该歌曲相关联的专辑、关于该艺术家的相关新闻以及用户可能喜欢的其他音乐的建议。
功能可以基于用户与显示器的距离进行修改。例如，显示器可以在用户的起居室。当用户从门口或其他房间扫视显示器时，该显示器可以显示时间。然而，如果用户接近显示器，则该显示器可以起到立体声的功能。从两米的距离(例如，如果用户在面对显示器的沙发上)，显示器可以作为媒体中心，重点是电影。如果用户在与显示器完全分离的房间，则该显示器可以起到话音控制个人助理的功能。如果没有用户出现在显示器所处的家庭，则该显示器可以作为安全系统。
在一个实现方式中，提供了一种包括数据库和处理器的系统。数据库可以存储例如用户偏好、属性、演示风格、关于显示器的信息等。处理器可以连接至显示器。处理器可以被配置为接收针对显示器的缩放功能。该处理器可以接收针对显示器的内容。在某些配置方式中，处理器可以确定用户与显示器之间的距离或者其可以接收对距离的指示。处理器可以基于确定的距离和缩放功能修改显示器的输出。
在一个实现方式中，显示器上示出内容的演示风格和/或可用于用户的命令可以基于其他距离测量确定。在一个实现方式中，内容和/或命令可以基于用户与除了显示器的对象之间的距离确定。例如，内容和命令可以基于一个用户与另一用户的距离、用户与门口的距离、用户与房间中指定点或线的距离、用户与远离显示器放置的传感器的距离等进行修改。这些可以例如由上文所述相机测量。
在各种实现方式中，显示器上的内容和命令可以基于不止一个距离确定。例如，内容和命令可以基于第一用户与第二用户之间的距离以及第一用户与显示器之间的距离两者进行确定。在一个实现方式中，内容和命令可以基于用户与远离显示器放置的传感器之间的距离、用户与显示器之间的距离和用户与另一用户之间的距离进行确定。
上文描述出于解释的目的已经针对特定实现方式被描述。然而，上文所示论述不旨在穷尽或限制本公开主题的实现方式到所述的具体形式。鉴于上文的教导，许多修改和变化也是可能的。为了解释本公开主题实现方式的原理及其实践应用，选择并描述了各种实现方式，由此使得本领域的其他人员能够利用那些实现方式以及可以适于特定用户预期的具有各种修改的各种实现方式。

Claims (30)

1.一种方法，包括：
确定用户与显示器之间的距离；
基于确定的所述距离和属性，选择所述显示器上内容的演示风格；以及
基于确定的所述距离、所述属性和所述演示风格中的至少一个确定可用于所述用户的多个命令中的至少一部分；
基于内容的所述演示风格修改所述显示器上所述内容的至少一部分。
2.根据权利要求1所述的方法，其中属性从以下分组中选择，所述分组包括：用户高度、内容上下文、用户简档、用户数、环境和有利位置。
3.根据权利要求1所述的方法，进一步包括确定至少一个用户与所述显示器的中值或平均距离。
4.根据权利要求1所述的方法，其中所述多个命令包括多个手势。
5.根据权利要求1所述的方法，进一步包括将所述用户标识为具有主要控制。
6.根据权利要求1所述的方法，进一步包括基于确定的所述用户与所述显示器之间的所述距离确定多个范围中的一个范围。
7.根据权利要求6所述的方法，进一步包括基于用户高度、内容上下文、用户简档、用户数、环境和有利位置中的至少一个来配置所述多个范围中的所述一个范围。
8.根据权利要求1所述的方法，其中用户位置使用一个或多个相机确定。
9.根据权利要求8所述的方法，其中所述一个或多个相机中的至少一个相机与所述监视器搭配。
10.根据权利要求1所述的方法，进一步包括确定所述距离超过阈值距离。
11.根据权利要求10所述的方法，进一步包括减少或增加所述显示器上的所述内容。
12.根据权利要求10所述的方法，进一步包括减少或增加可用手势输入的数目。
13.一种方法，包括：
接收用于显示器的缩放功能；
接收用于所述显示器的内容；
确定用户与所述显示器之间的距离；以及
基于确定的所述距离和所述缩放功能修改所述显示器的输出。
14.根据权利要求13所述的方法，其中所述缩放功能基于用户偏好。
15.根据权利要求13所述的方法，进一步包括检测用户。
16.根据权利要求15所述的方法，其中所述用户由从以下分组中选择的技术检测，所述分组包括：面部识别、话音识别和模式识别。
17.根据权利要求13所述的方法，进一步包括检测第二用户。
18.根据权利要求17所述的方法，进一步包括针对所述第一用户和所述第二用户中的每个用户确定与所述显示器的平均距离。
19.根据权利要求13所述的方法，进一步包括基于所述显示器的所述输出、确定的所述距离和所述缩放功能中的至少一个来指派可用于所述用户的手势集。
20.根据权利要求13所述的方法，进一步包括基于确定的所述距离确定命令可用性。
21.根据权利要求20所述的方法，进一步包括基于确定的所述距离修改所述命令可用性。
22.一种系统，包括：
数据库，其中所述数据库存储用户偏好；
连接至所述数据库的处理器，所述处理器被配置为：
接收用于显示器的缩放功能；
接收用于所述显示器的内容；
确定用户与所述显示器之间的距离；以及
基于确定的所述距离和所述缩放功能修改所述显示器的输出。
23.根据权利要求22所述的系统，其中所述缩放功能基于用户偏好。
24.根据权利要求22所述的系统，所述处理器被进一步配置为检测用户。
25.根据权利要求24所述的系统，其中所述用户由从以下分组中选择的技术检测，所述分组包括：面部识别、话音识别和模式识别。
26.根据权利要求22所述的系统，所述处理器被进一步配置为检测第二用户。
27.根据权利要求26所述的系统，所述处理器被进一步配置为针对所述第一用户和所述第二用户中的每个用户确定与所述显示器的平均距离。
28.根据权利要求22所述的系统，所述处理器被进一步配置为基于所述显示器的所述输出、确定的所述距离和所述缩放功能中的至少一个来指派可用于所述用户的手势集。
29.根据权利要求22所述的系统，所述处理器被进一步配置为基于确定的所述距离确定命令可用性。
30.根据权利要求29所述的系统，所述处理器被进一步配置为基于确定的所述距离修改所述命令可用性。
CN201480008535.1A 2013-02-13 2014-02-11 基于观看距离的自适应屏幕接口 Active CN105009025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810570586.3A CN108762474A (zh) 2013-02-13 2014-02-11 基于观看距离的自适应屏幕接口

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/765,877 US9159116B2 (en) 2013-02-13 2013-02-13 Adaptive screen interfaces based on viewing distance
US13/765,877 2013-02-13
PCT/US2014/015742 WO2014126897A1 (en) 2013-02-13 2014-02-11 Adaptive screen interfaces based on viewing distance

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810570586.3A Division CN108762474A (zh) 2013-02-13 2014-02-11 基于观看距离的自适应屏幕接口

Publications (2)

Publication Number Publication Date
CN105009025A true CN105009025A (zh) 2015-10-28
CN105009025B CN105009025B (zh) 2018-06-29

Family

ID=50231527

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480008535.1A Active CN105009025B (zh) 2013-02-13 2014-02-11 基于观看距离的自适应屏幕接口
CN201810570586.3A Pending CN108762474A (zh) 2013-02-13 2014-02-11 基于观看距离的自适应屏幕接口

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810570586.3A Pending CN108762474A (zh) 2013-02-13 2014-02-11 基于观看距离的自适应屏幕接口

Country Status (5)

Country Link
US (2) US9159116B2 (zh)
EP (1) EP2956838B1 (zh)
KR (2) KR101912930B1 (zh)
CN (2) CN105009025B (zh)
WO (1) WO2014126897A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109643167A (zh) * 2016-09-30 2019-04-16 英特尔公司 基于用户和机器界面之间的检测距离的交互模式选择
CN109656371A (zh) * 2018-12-28 2019-04-19 努比亚技术有限公司 移动终端护眼方法、装置、移动终端及存储介质
CN114072764A (zh) * 2020-02-28 2022-02-18 乐威指南公司 用于自适应地修改媒体内容的呈现的系统和方法
CN114072764B (zh) * 2020-02-28 2024-04-19 乐威指南公司 用于自适应地修改媒体内容的呈现的系统和方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9159116B2 (en) * 2013-02-13 2015-10-13 Google Inc. Adaptive screen interfaces based on viewing distance
EP2916241A1 (en) * 2014-03-03 2015-09-09 Nokia Technologies OY Causation of rendering of song audio information
JP6021089B2 (ja) * 2014-03-25 2016-11-02 パナソニックＩｐマネジメント株式会社 情報表示システム及び情報表示方法
US20150288812A1 (en) * 2014-04-02 2015-10-08 Shao-Chieh Ting Mobile computing devices with parental control
US20150358594A1 (en) * 2014-06-06 2015-12-10 Carl S. Marshall Technologies for viewer attention area estimation
US9911398B1 (en) 2014-08-06 2018-03-06 Amazon Technologies, Inc. Variable density content display
US9794511B1 (en) 2014-08-06 2017-10-17 Amazon Technologies, Inc. Automatically staged video conversations
KR20160020039A (ko) * 2014-08-12 2016-02-23 삼성디스플레이 주식회사 표시 장치 및 그것의 표시 방법
KR101637483B1 (ko) * 2014-11-19 2016-07-07 한국전자통신연구원 거리 및 친밀도를 이용한 주변 장치 인식 장치 및 방법
US9819905B1 (en) 2015-05-28 2017-11-14 Amazon Technologies, Inc. Video communication sessions between whitelisted devices
KR102179958B1 (ko) * 2015-09-02 2020-11-17 삼성전자주식회사 LFD(large format display) 장치 및 그 제어 방법
US11461810B2 (en) * 2016-01-29 2022-10-04 Sensormatic Electronics, LLC Adaptive video advertising using EAS pedestals or similar structure
US10853841B2 (en) 2016-01-29 2020-12-01 Sensormatic Electronics, LLC Adaptive video advertising using EAS pedestals or similar structure
US11250201B2 (en) * 2016-06-14 2022-02-15 Amazon Technologies, Inc. Methods and devices for providing optimal viewing displays
US10809808B2 (en) * 2016-10-14 2020-10-20 Intel Corporation Gesture-controlled virtual reality systems and methods of controlling the same
US11010601B2 (en) 2017-02-14 2021-05-18 Microsoft Technology Licensing, Llc Intelligent assistant device communicating non-verbal cues
US11100384B2 (en) * 2017-02-14 2021-08-24 Microsoft Technology Licensing, Llc Intelligent device user interactions
US10467510B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Intelligent assistant
US10489487B2 (en) * 2018-01-18 2019-11-26 Microsoft Technology Licensing, Llc Methods and devices to select presentation mode based on viewing angle
US20190310741A1 (en) * 2018-04-05 2019-10-10 Microsoft Technology Licensing, Llc Environment-based adjustments to user interface architecture
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US11010179B2 (en) 2018-04-20 2021-05-18 Facebook, Inc. Aggregating semantic information for improved understanding of users
US11169668B2 (en) * 2018-05-16 2021-11-09 Google Llc Selecting an input mode for a virtual assistant
US10877781B2 (en) * 2018-07-25 2020-12-29 Sony Corporation Information processing apparatus and information processing method
US10860104B2 (en) 2018-11-09 2020-12-08 Intel Corporation Augmented reality controllers and related methods
US10789912B2 (en) * 2018-12-20 2020-09-29 Intel Corporation Methods and apparatus to control rendering of different content for different view angles of a display
JP2022546008A (ja) 2019-08-02 2022-11-02 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的で且つパーソナル化されたメディア符号化及び配信のためのパーソナル化された感度測定及び再生要因
US11650720B2 (en) 2020-10-06 2023-05-16 International Business Machines Corporation Dynamically adjusting zoom settings by a server in multiple user environments
WO2022114334A1 (ko) * 2020-11-27 2022-06-02 한국전자기술연구원 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치
KR102645313B1 (ko) 2021-07-13 2024-03-11 한국전자기술연구원 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101959051A (zh) * 2010-09-01 2011-01-26 华为终端有限公司 远程呈现系统的屏幕选看方法及装置
US20120092248A1 (en) * 2011-12-23 2012-04-19 Sasanka Prabhala method, apparatus, and system for energy efficiency and energy conservation including dynamic user interface based on viewing conditions
CN102541257A (zh) * 2010-11-12 2012-07-04 微软公司 基于观众的内容呈现和定制
CN102740151A (zh) * 2011-04-07 2012-10-17 索尼公司 针对多个观看者个性化的音视频显示装置用户界面
US20130027614A1 (en) * 2011-07-29 2013-01-31 Jason Bayer Systems and Methods for Rendering User Interface Objects in Accordance with a Variable Scaling Factor

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7225414B1 (en) 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment
US8094128B2 (en) * 2007-01-03 2012-01-10 Apple Inc. Channel scan logic
US8209635B2 (en) * 2007-12-20 2012-06-26 Sony Mobile Communications Ab System and method for dynamically changing a display
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US10642364B2 (en) * 2009-04-02 2020-05-05 Oblong Industries, Inc. Processing tracking and recognition data in gestural recognition systems
US9740293B2 (en) * 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8189429B2 (en) * 2008-09-30 2012-05-29 Apple Inc. Microphone proximity detection
US9400548B2 (en) 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
KR20110061189A (ko) 2009-12-01 2011-06-09 삼성전자주식회사 데이터 프로세싱 시스템에서의 비동기 통합 업사이징 회로
KR101657168B1 (ko) 2009-12-01 2016-09-19 삼성전자주식회사 사용자 위치 기반의 디스플레이 방법 및 장치
CN102754049B (zh) * 2010-02-11 2016-03-16 惠普发展公司，有限责任合伙企业 输入命令
US9477324B2 (en) 2010-03-29 2016-10-25 Hewlett-Packard Development Company, L.P. Gesture processing
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
US9508322B2 (en) 2010-05-28 2016-11-29 Qualcomm Incorporated Text box resizing
CN101894511B (zh) 2010-07-15 2012-03-14 鸿富锦精密工业（深圳）有限公司 电子看板
US9747270B2 (en) * 2011-01-07 2017-08-29 Microsoft Technology Licensing, Llc Natural input for spreadsheet actions
US8698843B2 (en) * 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
CN103154856B (zh) * 2010-12-29 2016-01-06 英派尔科技开发有限公司 针对手势识别的环境相关动态范围控制
US20120287163A1 (en) * 2011-05-10 2012-11-15 Apple Inc. Scaling of Visual Content Based Upon User Proximity
US20130016129A1 (en) * 2011-07-14 2013-01-17 Google Inc. Region-Specific User Input
US9317899B2 (en) * 2012-01-13 2016-04-19 Sony Corporation Information processing apparatus and information processing method, and computer program
US20130300668A1 (en) * 2012-01-17 2013-11-14 Microsoft Corporation Grip-Based Device Adaptations
US20130215038A1 (en) * 2012-02-17 2013-08-22 Rukman Senanayake Adaptable actuated input device with integrated proximity detection
US8928590B1 (en) * 2012-04-03 2015-01-06 Edge 3 Technologies, Inc. Gesture keyboard method and apparatus
CN103488446B (zh) * 2012-06-11 2017-08-25 汉王科技股份有限公司 一种显示器工作模式切换的方法和装置
US11099652B2 (en) * 2012-10-05 2021-08-24 Microsoft Technology Licensing, Llc Data and user interaction based on device proximity
US9159116B2 (en) * 2013-02-13 2015-10-13 Google Inc. Adaptive screen interfaces based on viewing distance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101959051A (zh) * 2010-09-01 2011-01-26 华为终端有限公司 远程呈现系统的屏幕选看方法及装置
CN102541257A (zh) * 2010-11-12 2012-07-04 微软公司 基于观众的内容呈现和定制
CN102740151A (zh) * 2011-04-07 2012-10-17 索尼公司 针对多个观看者个性化的音视频显示装置用户界面
US20130027614A1 (en) * 2011-07-29 2013-01-31 Jason Bayer Systems and Methods for Rendering User Interface Objects in Accordance with a Variable Scaling Factor
US20120092248A1 (en) * 2011-12-23 2012-04-19 Sasanka Prabhala method, apparatus, and system for energy efficiency and energy conservation including dynamic user interface based on viewing conditions

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109643167A (zh) * 2016-09-30 2019-04-16 英特尔公司 基于用户和机器界面之间的检测距离的交互模式选择
CN109656371A (zh) * 2018-12-28 2019-04-19 努比亚技术有限公司 移动终端护眼方法、装置、移动终端及存储介质
CN114072764A (zh) * 2020-02-28 2022-02-18 乐威指南公司 用于自适应地修改媒体内容的呈现的系统和方法
CN114072764B (zh) * 2020-02-28 2024-04-19 乐威指南公司 用于自适应地修改媒体内容的呈现的系统和方法

Also Published As

Publication number Publication date
KR101912930B1 (ko) 2018-10-29
WO2014126897A1 (en) 2014-08-21
KR20180006509A (ko) 2018-01-17
CN108762474A (zh) 2018-11-06
US9159116B2 (en) 2015-10-13
US20150379687A1 (en) 2015-12-31
EP2956838B1 (en) 2019-06-05
US20140225931A1 (en) 2014-08-14
KR20150119053A (ko) 2015-10-23
EP2956838A1 (en) 2015-12-23
CN105009025B (zh) 2018-06-29
US9691130B2 (en) 2017-06-27

Similar Documents

Publication Publication Date Title
CN105009025A (zh) 基于观看距离的自适应屏幕接口
KR101885775B1 (ko) 컨텐트 캡쳐 방법 및 이를 위한 이동 단말기
JP6391234B2 (ja) 情報検索方法、そのような機能を有するデバイス及び記録媒体
KR101919008B1 (ko) 정보 제공 방법 및 이를 위한 이동 단말기
KR101894395B1 (ko) 캡쳐 데이터 제공 방법 및 이를 위한 이동 단말기
EP2869162A2 (en) Displaying messages with cartoon cut images in an electronic device
CN107995536A (zh) 一种提取视频预览的方法、装置、设备和计算机存储介质
US10346014B2 (en) System and method for provisioning a user interface for scaling and tracking
US20140049558A1 (en) Augmented reality overlay for control devices
US11019162B2 (en) System and method for provisioning a user interface for sharing
US10082928B2 (en) Providing content to a user based on amount of user contribution
US9372601B2 (en) Information processing apparatus, information processing method, and program
CN102939574A (zh) 字符选择
US9501151B2 (en) Simultaneous multi-user marking interactions
CN111539202A (zh) 一种用于自然语言内容标题消歧的方法、设备和系统
JP2022529856A (ja) タッチパッド入力を備えたゲームコントローラ
KR102104136B1 (ko) 제어 장치를 위한 증강 현실 오버레이
EP2742402B1 (en) Method and user interface controlling communications and content from sources
CN115086774B (zh) 资源显示方法、装置、电子设备及存储介质
CN113905280B (zh) 弹幕信息显示方法、装置、设备以及存储介质
CN107992347B (zh) 一种功能演示方法及移动终端
CN111539219B (zh) 一种用于自然语言内容标题消歧的方法、设备和系统
CN113918044A (zh) 信息的展示方法、装置、电子设备及可读介质
CN115379113A (zh) 拍摄处理方法、装置、设备及存储介质
CN105027031A (zh) 使用在无触摸手势界面中的物体之间的距离

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant