CN105144130B - 移动计算设备技术以及使用它的系统和方法 - Google Patents

移动计算设备技术以及使用它的系统和方法 Download PDF

Info

Publication number
CN105144130B
CN105144130B CN201480010020.5A CN201480010020A CN105144130B CN 105144130 B CN105144130 B CN 105144130B CN 201480010020 A CN201480010020 A CN 201480010020A CN 105144130 B CN105144130 B CN 105144130B
Authority
CN
China
Prior art keywords
mobile computing
computing device
screen
pairing
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480010020.5A
Other languages
English (en)
Other versions
CN105144130A (zh
Inventor
M·埃迪莱塔
M·维尔德
M·F·法伦
W·R·惠勒
T·加里森
A·格里乌斯
C·杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN105144130A publication Critical patent/CN105144130A/zh
Application granted granted Critical
Publication of CN105144130B publication Critical patent/CN105144130B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/382Information transfer, e.g. on bus using universal interface adapter
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J11/00Orthogonal multiplex systems, e.g. using WALSH codes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1094Inter-user-equipment sessions transfer or sharing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/38Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/50Secure pairing of devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H04W4/21Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel for social networking applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/14Direct-mode setup
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

此处描述了移动计算设备技术以及使用该移动计算设备技术的系统和方法。具体而言,描述了可以充当所描述的分解的计算系统的处理组件的移动计算设备、可以与移动计算设备配对的非整体的屏幕、以及使用这样的设备和屏幕的系统和方法。在某些实施例中,本移动计算设备技术包括缺乏整体屏幕,但是能够例如通过借助于有线或无线通信接口建立的配对的连接,向非整体目标屏幕投掷至少视频信息的移动计算设备。

Description

移动计算设备技术以及使用它的系统和方法
领域
本发明涉及移动计算设备技术以及使用它的系统和方法。更具体而言,本发明涉及可以充当移动计算设备分解计算系统的处理组件的移动计算设备,可以与该移动计算设备配对的非整体屏幕,以及使用这样的设备的系统和方法。
附图简述
随着以下详细描述继续,并且经过参考附图,所要求保护的主题的多个实施例的特征和优点将变得明显,在附图中相似标号描绘相似部件,并且其中:
图1示出了根据本发明的包括移动计算设备和屏幕的移动计算系统;
图2是根据本发明的移动计算设备的示例性架构的框图;
图3是根据本发明的无声的屏幕的示例性架构的框图;
图4是根据本发明的示例性智能屏幕的框图;
图5A和5B示出了根据本发明的示例移动设备发起的配对方法;
图6A和6B示出了根据本发明的屏幕发起的配对方法的示例;
图7A和7B示出了根据本发明将移动计算设备与许多屏幕中的一个配对的示例方法;
图8是根据本发明的示例性framethrower协议的流程图;
图9是根据本发明的压缩优化组件的示例性framethrower协议的流程图。
图10是根据本发明的示例性streamthrower协议的流程图;
图11描绘了根据本发明的使用一个或多个通信信道/模式,从移动计算设备传输视频信息的示例方法;
图12描绘了根据本发明的示例性朝向控制方法;
图13示出了根据本发明的包括手势指令的手势模块的示例操作;
图14描绘了根据本发明的基于手势的认证操作的一个示例;
图15描绘了根据本发明的响应于输入设备指令在输入设备模块内的执行的示例性操作;
图16A和16B示出了根据本发明的包括与用户通过耦合到移动计算设备的输入设备与移动计算设备的交互一起执行的示例操作的方法;
图17A和17B示出了根据本发明的包括与用户通过耦合到屏幕的输入设备与移动计算设备的交互一起执行的示例操作的方法;
图18A和18B示出了根据本发明的将移动计算设备与多个屏幕并行地配对的示例方法;
图19A和19B描绘了根据本发明的其中移动计算设备与屏幕对接的示例使用情况;
图20描绘了根据本发明的包括一个或多个移动计算设备的示例网状网络;
图21描绘了根据本发明的示例智能缓存系统;以及
图22描绘了根据本发明的示例代理系统。
具体实施方式
术语“通信网络”是指用于发送和/或接收数据信号的一个或多个系统和/或方法。这些术语包含短程通信以及长程通信。
术语“短程通信”此处用来指用于在彼此相对靠近的设备之间以无线方式发送/接收数据信号的系统和方法。短程通信包括,例如,使用网络、个人区域网络(PAN)、近场通信、射频标识(RFID)、ZigBee网络、Wireless Display(WiDi)连接、INTEL WiGig(无线,带有千兆能力)连接、毫米波通信、超高频(UHF)通信,其组合,等等,在设备之间的进行的通信。因此,短程通信可以被理解为在设备之间进行直接通信,无需诸如路由器、蜂窝小区塔、因特网服务提供商等等之类的中间硬件/系统。
相反,术语“长程通信”此处用来指用于在彼此相距一个显著的距离的设备之间以无线方式发送/接收数据信号的系统和方法。长程通信包括,例如,使用WiFi、广域网(WAN)(包括,但不仅限于,蜂窝电话网络(3G,4G,等等),因特网、全球定位系统(GPS)、电视whitespace网络、其组合等等),在设备之间进行的通信。因此,长程通信可以被理解为通过使用诸如路由器、蜂窝小区塔、电视whitespace塔、因特网服务提供商,其组合之类的中间硬件/系统,等等,在设备之间进行的通信。
如此处在任何实施例中所使用的,术语“模块”可以是指被配置成执行根据本发明的一个或多个操作或导致其执行的软件、固件和/或电路。软件可以实现为记录非瞬时的计算机可读存储介质上的软件程序包、代码、指令,指令集和/或数据。固件可以实现如被硬编码(例如,非易失性)在存储器设备中的代码、指令或指令集和/或数据。如本文所描述的任何实施例中所使用,“电路”可单独或以任何组合包括例如存储可由可编程电路执行的指令的硬连线电路、可编程电路,诸如包括一个或多个单个指令处理核的计算机处理器、状态机电路、软件和/或固件。模块可以共同地或分别地被实现为构成客户端设备或认证设备的一部分的电路。
为了清楚起见且便于理解,本发明常常将移动计算设备以及屏幕描述为包括存储在存储器中的一个或多个模块,其中,模块包括计算机可读指令,所述指令,当由相关的设备(移动计算设备或屏幕)的处理器执行时,导致设备执行各种操作。应该理解,这样的描述是示例性的,移动计算设备和屏幕可以被配置成以另一种方式执行与一个或多个模块相关联地描述的操作。作为示例,此处所描述的移动计算设备和屏幕可包括至少部分地以硬件来实现以导致根据本发明的一个或多个操作(诸如与此处所标识的各种模块相关联地描述的那些)的执行的逻辑。关于这一点,值得注意的是,如此处所使用的“逻辑”可包括单独的和/或模拟电路,包括,例如,通用处理器、数字信号处理器(DSP)、片上系统(SoC)、状态机电路、硬连线电路元件、专用集成电路、其组合,等等。
诸如蜂窝电话、智能电话、平板个人计算机,以及膝上型个人计算机之类的移动设备的使用显著地增多。鉴于这些移动技术的广泛采用,微处理器开发人员越来越专注于表现高性能以及低功耗的处理器的开发。这样的开发的一个目标是提高处理能力,同时维持或者甚至延长基础设备的电池寿命。在某些情况下,已经证明,缩小处理器组件的大小可以改善处理器性能,同时会降低功率消耗。在未来的几年里,可以预期,制造技术将允许生产带有“类似于台式机”的计算性能以及足够低以用于移动设备中的功率消耗的处理器。
近年来,消费者需求朝着具有大的整体显示器但是足够薄以容纳在口袋或小包里的移动设备方向发展。改进的制造技术使得设备制造商能越来越多地小型化这样的设备的驱动电子器件。虽然这样可以生产越来越薄的设备,但是,当前移动设备的长度以及宽度尺寸常常受整体显示器的要求的约束。尽管驱动电子器件的进一步小型化可以使得设备厚度进一步缩小,但是,移动设备的长度以及宽度可能受到整体显示器的对应的尺寸的限定。这可能会限制移动设备作为整体可以被小型化的程度。
本发明一般涉及这样的移动计算技术,该技术包括一个或多个具有将视频信息传输或“抛掷”到本地存在的但不是整体屏幕供显示的能力的移动计算设备。如下面将详细地讨论的,此能力可以消除移动计算设备中的整体显示器的必要性,打开了新的并且较小的形状因子的路径。还描述了用于与缺乏整体屏幕和/或向非整体屏幕抛掷显示信息的移动计算设备进行交互的技术。移动计算设备还可以包括先进的通信和网络技术,该技术可以使它们彼此及与其他兼容设备能无缝地进行连接,例如,建立到诸如因特网之类的广域网或另一数据通信系统的连接。还描述了使用根据本发明的移动计算设备的各种系统和方法。
如前面所指出的,此处所描述的移动计算设备具有向本地存在的但是非整体的屏幕传输或“抛掷”视频信息供显示的能力。此概念在图1中一般性地示出,其中,移动设备101被描绘成向屏幕103传输视频信息102。如图所示,显示器103本地存在/在设备101的附近(例如,在相同房间或环境内),但是,不与设备101形成整体。
为清楚起见并便于说明,在图1中以不包括整体的显示器的形状因子描绘移动设备101。此说明只是示例性的,应该理解,移动设备101可以具有任何合适的形状因子。例如,移动设备101可以具有符合任意数量的移动电子设备的形状因子,诸如蜂窝电话、电子阅读器、护目镜、移动游戏控制台、上网本计算机、笔记本电脑、因特网设备、个人数字助理、媒体播放器和/或记录器、智能电话、平板个人计算机、超移动个人计算机、可穿戴的计算设备,以及其组合。无限制地,设备101优选地处于不包括整体的显示器的或包括相对较小的整体显示器的形状因子。当然,移动设备101可以处于另一形状因子,并可以配备有任何所希望的大小的整体显示器。尽管如此,应该理解,术语“移动计算设备”不包括安装在或以别的方式保持在单一位置很长时间的计算设备或被设计成安装在或以别的方式保持在单一位置很长时间的计算设备(例如,台式计算机、路由器、网络服务器等等),诸如那些精通本技术的人员所理解的。
为清楚起见并便于说明,屏幕103在图1中被描绘为计算机监视器的形式。此说明是示例性的,应理解,屏幕103可以是任何合适的形式,并可以构成诸如独立计算系统之类的另一设备的一部分。例如,屏幕103可以呈现计算终端显示器、台式计算机显示器、膝上型计算机显示器、移动电话显示器、智能电话显示器、平板个人计算机显示器、自助服务终端显示器、自动柜员机显示器、交通工具(例如,飞机、汽车、自行车、摩托车、火车等等)显示器、医疗设备(例如,心电图显示器)、记录系统(例如,医疗记录系统)的显示器、金融交易系统的显示器、移动游戏控制台显示器、投影仪、电视机、极移动个人计算机显示器、可穿戴显示器(例如,呈现护目镜、表带、项链等等的形式)、智能徽章显示器、其组合等等的形式。并非限制,屏幕103优选地是台式机或移动计算机的显示器、台式计算机的显示器、诸如智能电话、膝上型计算机或平板个人计算机之类的移动设备的显示器、自助服务终端显示器、公共计算机终端显示器、电视机,或其组合的形式。
在某些实施例中,屏幕103可以是“无声屏幕”的形式。如此处所使用的,术语“无声屏幕”是指具有作为能够以无线方式或通过有线连接接收数据的计算机或电视监视器来操作的能力的显示器。例如,无声屏幕可包括以特定的方式处理(例如,视频和/或音频)数据(例如,接收并解码网络分组,升高视频数据档次,解释视频格式,等等)的专用集成电路或其他电路。在某些实施例中,此处所描述的无声屏幕可以被设计为用于低成本和/或低计算强度的操作。根据本发明的“无声屏幕”的非限制性示例包括缺乏通用计算能力的电视机、独立计算机监视器(例如,不连接到中央处理单元的监视器)、显示器对接器(如下面所描述的)、投影仪,其组合,等等。
在其他实施例中,屏幕103可以呈现“智能屏幕”的形式。如此处所使用的,术语“智能屏幕”是指与计算机子系统(电路板、常见的电源,等等)高度集成的显示器或具有被用户或者制造商编程以执行除接收并显示视频数据以外的任务的能力的显示器。可以使用的智能屏幕的非限制性示例包括耦合到计算机(例如,诸如膝上型计算机、台式计算机、电子阅读器、个人数据助理、智能电话、平板、蜂窝电话、自助服务终端等等)的显示器以及包括它们自己的通用处理器的显示器。
尽管本发明频繁地引用智能以及无声屏幕作为独立设备,但是,这样的屏幕不必独立于其他机器、电路等等。实际上,此处所描述的智能以及无声屏幕可以构成另一机械的和/或电气设备的全部或一部分。例如,此处所描述的智能以及无声屏幕可以构成飞机、汽车、自行车、摩托车、雪上汽车、医疗设备、仰视显示器、控制接口、电子购物门户、餐厅菜单、双筒望远镜、护目镜、食品准备工具、记录系统、交易系统、上文指出的智能屏幕,其组合,等等的一部分。
现在参考图2,该图2描绘了根据本发明的移动计算设备的示例性架构的框图。如图所示,设备101包括设备平台201。并非限制,设备平台201可以关联到上文所提及的适用于作为设备101的设备形状因子中的一项或多项。相应地,设备平台201可以是蜂窝电话平台、电子阅读器平台、护目镜平台、移动游戏控制台平台、上网本计算机平台、笔记本电脑平台、因特网设备、平台、个人数字助理平台、媒体播放器和/或记录器平台、智能电话平台、平板个人计算机平台、超移动个人计算机平台、可穿戴计算设备平台,或其组合。
如图2所示,设备平台201可包括处理器202、存储器203、无线通信接口(WCOMMS)204、媒体接口电路205、传感器206、电源207以及可选输入208。
处理器202可以是任何合适的处理器。例如,处理器202可以是单核或多核处理器、通用处理器、专用集成电路,其组合,等等。无限制地,处理器202优选地是由Corporation、Advanced Micro Devices销售的一种或多种处理器。合适的处理器的非限制性示例包括销售的处理器的Atom、Nehalem、Ivy Bridge,以及Sandy Bridge产品线。
存储器203可包括任何合适类型的存储器,诸如半导体固件存储器、可编程存储器、非易失性存储器、只读存储器、电可编程存储器、随机存取存储器、闪存(可包括,例如,NAND或NOR类型存储器结构)、磁盘存储器、光盘存储器。另选地或替代地,存储器203可以包括其他和/或以后开发的类型的计算机可读存储器。存储器203可以与处理器202形成整体,与处理器202分开,或其组合。如稍后将讨论的,存储器203可以存储一个或多个模块,这些模块包括计算机可读指令,这些指令,当由处理器202执行时,可以导致设备101执行根据本发明的功能。
WCOMMS 204可包括使设备101通过一个或多个通信网络,发送以及接收信号的硬件(例如,电路),软件,或硬件和软件的组合。例如,WCOMMS204可包括准许设备101通过一个或多个通信网络(包括长程通信网络、短程通信网络,或其组合)发送以及接收信号的一个或多个天线、发射器、接收器、收发器、转发器、网络接口通信电路,以及其组合。相应地,WCOMMS 204可包括准许设备101使用WiFi、近场通信,电视机空白、射频标识(RFID)、蜂窝网络、个人区域网络,毫米波通信、使用超高频(UHF)的通信(例如,使用大约300兆赫到大约3000兆赫范围之内的频率)或其组合,使用合适的无线通信协议,来进行通信的硬件和/或软件。
设备平台201还可以包括媒体接口205。一般而言,媒体接口205可被配置成促进通过有线通信接口往返于设备101通信包含数据、音频和/或视频(显示)信息的信号。如此,例如,媒体接口205可包括高清晰度多媒体接口(HDMI),数字视频接口(DVI)、通用串行总线(USB)接口,其组合,等等。无限制地,设备平台201优选地包括HDMI以及DVI接口以及相关联的连接器。另选地或另外地,媒体接口205可包括一个或多个对接端口,这些对接端口可以与智能或无声的屏幕的对应的连接器匹配。这样的对接端口可以包括DVI、HDMI,和/或USB端口,另一种类型的对接端口。
如下文详细地描述的,设备101可以使用WCOMMS 204以及媒体接口205中的一个或组合,来将包含视频信息的信号(例如,媒体信号、视频信号等等)传输到一个或多个无声或智能屏幕。无限制地,设备101优选地被配置成通过WCOMMS 204,以无线方式传输视频信息。
设备平台201还可以包括传感器206。传感器206可包括能够检测设备101的用户和/或在设备101上执行的应用可能感兴趣的对象、信号,输入或其他信息的任何类型的传感器。可以被用作传感器206的传感器的非限制性示例包括光学传感器,诸如摄像机,位置传感器,诸如全球定位系统,朝向传感器,诸如陀螺仪和/或罗盘,触觉传感器,诸如压力传感器或触摸屏,运动传感器,诸如加速度计,生物特征传感器,诸如拇指纹传感器以及/或视网膜扫描器,其组合等等。在某些实施例中,设备101包括如前所述的传感器类型中的全部。
设备平台201还包括电源207。电源207可以是用于设备101以及其组件的任何合适的电源。可以被用作电源207的合适的电源的非限制性示例包括非可再充电的电池、可再充电的电池,诸如镍镉电池、镍金属氢化物电池、锂离子电池、锂离子聚合物电池,以及铅酸电池、燃料电池、以后开发的电源、AC或DC有线电源,其组合,等等。并非限制,电源207优选地被配置成提供充分的电源,以使设备101以及其组件在所希望的时间长度内以特定工作负载操作。
如果电源207被配置为诸如可再充电电池之类的可再充电的电源,则可以使用任何合适的机制来对其进行再充电。例如,可以使用有线连接(例如,AC和/或DC有线的电源),通过将设备101插入到电源中,来对电源207进行再充电。另选地或替换地,可以以无线方式,例如,使用电磁感应、动电感应、静电感应、其组合等等,来对电源207进行再充电。另选地或替换地,可以使用诸如微波辐射之类的电磁辐射,激光、其组合,等等,来对电源207进行再充电。在后一情况下,设备101可包括被配置成从源接收电磁辐射的接收器,该接收器将该辐射转换为可以用于再充电目的的电源。设备平台201可以可任选地包括一个或多个输入设备,如图2所示出的,作为输入208。这样的输入可以与设备101形成整体,物理地连接到它,和/或以无线方式连接到它。可以使用的示例性输入设备包括按钮、触摸板、输入设备(例如,轨迹球、跟踪板、键盘,等等),其组合,等等。当然,这样的输入设备只是示例性的,并可以使用任何合适的输入设备。无限制地,可选输入208优选地包括一个或多个按钮。此概念在图1中示出,其中,设备101包括三个按钮108。当然,图1中的按钮的数量只是示例性的,可以使用任意数量的按钮。
由于设备101不需要包括整体的显示器,因此,可以以任何合适的形状因子来生产它,包括体积小于包括整体的显示器的当前移动设备的形状因子。例如,设备101的大小可以被定为容纳在人手的平均手掌内、表带内,护目镜内等等。在某些实施例中,设备101的大小可以被定为,以便可佩带在衣服上(内),诸如衬衫的衣领内或上和/或袖口,衬衫口袋上或内,在裤子口袋上或内,其组合等等。
此处所公开的无声和智能屏幕可以被配置成显示从根据本发明的移动计算设备接收到的视频信息,例如,在一个或多个媒体/视频信号中。可以使用任何合适的智能或无声屏幕,只要它具有必要的连接,用于从根据本发明的移动计算设备接收包含视频信息的信号,以及解释那些信号并显示包含在其中的视频信息的能力。如下文详细地描述的,这样的信号可以被格式化,用于通过有线或无线连接来进行传输。相应地,可以使用带有合适的物理和/或无线功能的任何无声/智能屏幕。
现在参考图3,该图3描绘了根据本发明的无声屏幕的示例性架构的框图。如图所示,无声屏幕300包括无声屏幕平台301。无声屏幕平台301可以是任何合适的无声屏幕平台,并可以例如关联到根据上文指出的示例性类型的无声屏幕的平台。为了说明起见,在图3中无声屏幕300被示为独立监视器(例如,电视机)的形式,如此,无声屏幕平台301可以是独立监视器平台,诸如电视机平台。为了清楚起见并便于理解,无声屏幕平台301也被示为带有有限的组件,应该理解,所示出的配置是示例性的。实际上,无声屏幕平台301可包括通常可以在这样的屏幕中发现的其他组件。
无声屏幕平台301包括显示器302、媒体接口303以及可选的无线通信接口WCOMMS304。显示器302可以是任何合适类型的显示器,诸如电子墨水显示器、发光二极管显示器、液晶显示器、等离子体显示器、荧光体显示器、有机荧光显示器、有机发光二极管显示器、另一种类型的显示器,或其组合。
一般而言,媒体接口303可以被配置成促进由无声屏幕300通过与这样的计算设备的有线连接,从移动计算设备接收数据、音频和/或视频(显示)信息。如此,例如,媒体接口303可包括高清晰度多媒体接口(HDMI)、数字视频接口(DVI)、有线通用串行总线(USB)接口、其组合等等。无限制地,无声屏幕平台301优选地包括HDMI以及DVI接口以及相关联的连接器,作为媒体接口303。另选地或另外地,媒体接口303可包括一个或多个对接端口,这些对接端口可以与根据本发明的移动计算设备的对应的连接器匹配。这样的对接端口可包括DVI端口、HDMI端口、USB端口,另一种类型的对接端口,以及其组合。
无声屏幕301可以可任选地进一步包括WCOMMS 304。WCOMMS 304可包括使无声的屏幕300通过一个或多个通信网络,接收(以及可任选地,发送)信号的硬件(例如,电路),软件,或硬件和软件的组合。例如,WCOMMS 204可包括准许无声的屏幕300通过一个或多个通信网络(包括长程通信网络、短程通信网络,或其组合)从移动计算设备接收(以及可任选地,发送)信号的一个或多个天线、发射器、接收器、收发器、转发器、网络接口通信电路,以及其组合。相应地,WCOMMS 204可包括准许屏幕300使用WiFi、无线USB、近场通信,电视机空白、射频标识(RFID)、蜂窝网络、BLUETOOTH、个人区域网络,或其组合,使用合适的通信协议,从设备101接收通信的硬件和/或软件。
如下文详细地描述的,无声屏幕300可以被配置成通过媒体接口303,WCOMMS 304,或其组合,从诸如设备101之类的移动计算平台接收视频信息。并非限制,无声屏幕优选地被配置成通过WCOMMS 304从移动计算设备接收视频信息。
无声屏幕平台301可任选地进一步包括一个或多个输入设备305。如果包括,则输入设备305可以与无声的屏幕300进行有线或无线通信。输入设备305,例如,可以是显示器302的触摸屏接口、计算机鼠标、键盘、轨迹球、跟踪板、或其他输入设备,诸如传感器、按钮,或开关。如下文详细地描述的,输入设备305,如果包括,可以被用来与在移动计算设备执行并显示在无声屏幕300上的应用进行交互。在这样的情况下,无声屏幕平台可包括专用集成电路(诸如图3中的可选ASIC 306)或另一种类型的被配置成监视利用输入设备305作出的输入(例如,事件)并将输入信息报告到根据本发明的移动计算设备的处理器。
无声屏幕平台301可以可任选地包括存储器307。存储器307可以与可选ASIC 306形成整体或与其分开,并可以是任何合适类型的存储器,诸如预先指定为适合与本发明的移动计算设备一起使用的存储器类型。如果存在,则存储器307可包括一个或多个软件/固件模块,这些模块,当被执行时,导致无声屏幕执行根据本发明的设备配对和/或输入监视功能。例如,存储器307可包括设备配对模块(“DPM”,未示出),该模块包括计算机可读指令,这些指令,当由无声屏幕平台301的专用处理器执行时,导致或促进无声屏幕300通过有线或无线通信接口,诸如可以提供的媒体接口303或WCOMMS 304,与移动计算设备的配对。
具体而言,存储器307可包括设备配对模块(“DPM”;未示出),该模块包括计算机可读指令,这些指令,当由专用处理器306执行时,可以导致或促进根据本发明的无声屏幕300与移动计算设备的配对。一旦无声屏幕300与移动计算设备配对,它就可以从移动计算设备接收视频及其他信息,例如,通过媒体接口303或WCOMMS 304。在前一种情况下,视频及从移动计算设备接收到的其他信息可以被包括在对于DVI、HDMI,和/或USB视频适当地格式化的信号(例如,媒体/视频信号)中,如此,可以由无声屏幕300使用媒体接口303的合适的接口,轻松地显示。
在后一种情况下,视频及从移动计算设备接收到的其他信息可以被封装在一个或多个分组中,这些分组通过无线连接,被传输到无声的屏幕300。在这样的情况下,无声屏幕平台301可包括ASIC 306(或另一种类型的处理器)以及存储在存储器307中的视频解码模块(未示出)。视频解码模块可包括计算机可读解码模块指令(例如,JAVA或其他代码),这些指令,当由ASIC 306或另一处理器执行时,导致无声屏幕300解码从移动计算设备接收到的分组,以获得包含在其中的视频信息。解码模块指令,当进一步被执行时,可以导致无声屏幕300显示如此获得的视频信息。
存储器307还可以存储一个或多个输入设备监视模块(“IDMM”;未示出)。如果被包括,则IDMM可包括计算机可读指令,这些指令,当由处理器(例如,ASIC 306或另一处理器)执行时,导致根据本发明的输入设备进行监视以及报告操作。例如,IDMM的指令,当被执行时,可以导致无声屏幕300(例如,ASIC 306)监视是否有与可选输入设备305相关联的事件,诸如鼠标点击操作、鼠标点击和释放操作、触摸输入(如果输入305包括触摸屏)、滑动操作、运动操作,其组合,等等。一旦检测到这样的事件,IDMM,当被执行时,可以导致处理器将这样的事件作为输入信息报告给移动计算设备,例如,通过媒体接口303(在无声屏幕300和移动计算设备之间的有线通信链路的情况下),对接接口(未示出)、无声屏幕300和移动计算设备之间的无线反向信道(未示出)或其组合。
由无声屏幕300所产生的输入信息报告可包括任何合适类型的信息。例如,这样的报告可包括指定事件的位置和/或类型的像素坐标,诸如在鼠标点击、鼠标点击和释放过程中,鼠标指针的位置,触摸屏上的触摸的位置,滑动操作的像素坐标,等等。在移动计算设备上执行的应用可以使用这样的信息来执行对于一个或多个应用合适的动作,如稍后将讨论的。
无声屏幕平台301还可以包括电源308,该电源308可以是用于无声屏幕300以及其组件的任何合适的电源。可以被用作电源308的合适的电源的非限制性示例包括上文参考图2的电源208所描述的电源。并非限制,电源308优选地呈现可再充电电池的形式,该可再充电电池可以使用到电源的有线连接,或通过无线充电技术,再充电。
现在参考图4,该图4描绘了根据本发明的示例性智能屏幕的框图。如图所示,智能屏幕400包括智能屏幕平台401。智能屏幕平台401可以是任何合适的平台,并可以,例如,关联到根据上文指出的示例性类型的智能屏幕的平台。为了说明起见,智能屏幕400被示为膝上型计算机的形式,如此,智能屏幕平台401可以关联到膝上型计算机平台。值得注意的是,为了清楚起见,并便于理解,智能屏幕平台401被示为带有有限的组件,并可包括可以在这样的屏幕中发现的其他组件。
如图所示,智能屏幕平台401包括显示器402、媒体接口403、WCOMMS404和输入设备405。除它们的到通用处理器406的连接以外,这样的组件的本质和功能与上文对于显示器302、媒体接口303、WCOMMS 304,以及可选输入设备305所描述的相同。如此,为了简洁起见,不再重复对这样的组件以及它们的功能的描述。除这样的组件之外,智能屏幕平台401包括通用处理器406以及存储器407。处理器406可以是任何合适类型的通用处理器,诸如上文说明的用于此处所描述的移动计算设备的单核或多核处理器。类似地,存储器407可以是任何合适类型的存储器,诸如前面说明的适用于本发明的移动计算设备的存储器类型。
存储器407可存储诸如由处理器406执行的操作系统(OS;未示出)以及一个或多个软件/固件模块(也未示出)之类的软件。例如,存储器407可存储一个或多个软件模块,当由处理器406执行时,这些模块导致智能屏幕400执行根据本发明的设备配对操作。具体而言,存储器407可包括设备配对模块(“DPM”;未示出),该模块包括计算机可读指令,这些指令,当由通用处理器406执行时,可以导致或促进智能屏幕400通过诸如媒体接口403和/或WCOMMS 404之类的有线或无线通信接口,与移动计算设备的配对。DPM的执行可以在由处理器406执行的操作系统的上下文内,或在另一上下文中发生。
一旦智能屏幕400已经与移动计算设备配对,它就可以例如通过媒体接口403或WCOMMS 404从移动计算设备接收视频及其他信息。视频及其他信息可被包括在适当地格式化的信号中(例如,在有线传输的情况下)或被封装在分组中(在无线传输的情况下),一旦由诸如处理器406或WCOMMS 404之类的智能屏幕400的一个或多个组件接收到,就可以解码和/或解释它们中的两者。例如,存储器407可以存储视频解码模块(未示出)。视频解码模块可包括计算机可读解码模块指令(例如,JAVA或其他代码),这些指令,当由处理器406或另一处理器执行时,导致智能屏幕400解码从移动计算设备接收到的分组,以获得包含在其中的视频和/或其他信息。解码指令,当进一步被执行时,可以导致智能屏幕400显示如此获得的视频信息。
存储器407还可存储一个或多个输入设备监视模块(“IDMM”;未示出)。如果被包括,则IDMM可包括计算机可读指令,这些指令,当由专用处理器(例如,处理器406)或另一处理器执行时,导致根据本发明的输入设备监视以及报告操作。例如,IDMM,当被执行时,可以导致智能屏幕400(例如,处理器406)监视是否有与可选输入设备405相关联的事件发生,并将这样的事件作为输入信息报告给移动计算设备。这些组件的本质和功能基本上与无声的屏幕300的对应的组件相同,为了简洁起见,不再重复。
智能屏幕平台401还可包括电源408,该电源408可以是用于智能屏幕400以及其组件的任何合适的电源。可以被用作电源408的合适的电源的非限制性示例包括上文参考图2的电源208所描述的电源。并非限制,电源408优选地呈现可再充电电池的形式,该可再充电电池可以使用到电源的有线连接,或通过无线充电技术,再充电。
此处所描述的移动设备可以使用任何合适的方法,诸如利用有线通信协议、无线通信协议,或其组合,等等,与无声的或智能屏幕配对(即,建立配对的连接)。在有线配对的情况下,移动计算设备和智能/无声屏幕的相应的媒体接口可以通过合适的电缆或对接接口,彼此相连接。例如,此处所描述的移动计算设备和智能/无声屏幕可以各自都包括HDMI,DVI和/或有线USB接口以及相关联的端口,在这样的情况下,移动计算设备和智能/无声屏幕可以通过合适的电缆相连接。另选地或另外地,移动计算设备可以通过合适的对接连接器或通过无线对接技术,与智能/无声屏幕对接。在任何情况下,都可以使用合适的协议,诸如HDMI、DVI、有线USB协议,和/或无线通信协议,通过移动计算设备以及智能/无声屏幕之间的所产生的物理或无线连接,传输视频及其他信息。
在真正无声屏幕(即,没有固有的处理能力的屏幕)的情况下,屏幕可以被调谐到合适的媒体接口输入,以显示通过有线连接从移动计算设备接收到的视频信息。相比之下,具有某些专用处理能力的智能或无声屏幕可包括在其中存储了设备配对模块(“DPM”)的存储器。DPM可包括计算机可读指令,这些指令导致智能/无声屏幕监视其媒体接口,确定是否有从移动计算设备接收到的信号。一旦接收到这样的信号,DPM模块指令,当被执行时,还可以进一步导致智能/无声屏幕在其显示器上显示这些信号中所包含的视频信息。
虽然本发明预想移动计算设备可以物理地连接到智能/无声屏幕的系统,但是,这样的连接不是必需的。实际上,无限制地,本发明的移动设备优选地被配置成以无线方式将视频信息传输到智能/无声屏幕。例如,移动计算设备可被配置成,响应于按钮的被触摸和/或近场通信,与WiDi或Miracast显示器配对,使用户能在视觉上与移动计算设备进行交互。在这样的情况下,可能需要移动计算设备和智能/无声屏幕的无线配对。
关于这一点,可使用任何合适的无线配对协议,来执行移动计算设备和智能/无声屏幕的配对。例如,此处所描述的移动计算设备和智能/无声屏幕可以被配置成使用传输控制协议(TCP)、用户数据报协议(UDP)、其组合等等,来彼此配对。这样的配对可建立或使用一个或多个套接字,用于通过设备之间的无线(例如,WiFi、Bluetooth、无线显示等等)连接,来进行通信。设备之间的配对可以由移动计算设备、智能/无声屏幕,或其组合来发起。
作为移动计算设备发起的配对方法的一个示例,参考图5A和5B。如图5A所示,设备101可以发起与屏幕103的配对。设备101和屏幕103的配对可以使用图5B中所描绘的示例性方法来进行。
如图5B所示,移动计算设备发起的配对方法可以从框501开始,在此,在移动计算设备上发起配对应用。关于这一点,移动计算设备可包括在其上存储了配对模块的存储器,其中,配对模块包括指令,所述指令,当由移动计算设备的处理器执行时,导致移动计算设备执行根据本发明的配对操作。配对模块指令的执行可以响应于诸如按钮按压、声音命令等等之类的用户输入。另选地或替代地,配对模块指令的执行可以响应于由移动设备检测到利用移动设备作出的特定姿势或运动(即,响应于陀螺仪和/或加速度计数据的被识别的模式)。
一旦发起了配对模块,移动计算设备可能需要标识它将与其配对的屏幕(在下文中,“目标屏幕”)。更具体而言,移动计算设备可能需要知道目标屏幕的标识符,诸如其因特网协议(IP)地址,如在图5的方法中一般性地示出的。如果移动计算设备了解目标屏幕的标识符,则方法可以跳过可选框502和503,并转到框504。然而,如果移动计算设备不了解目标屏幕的标识符,则方法可以转到框502和/或503,在那里,移动计算设备可使用对它可用的通信模态,以从目标屏幕获得此信息,如下面所描述的。
根据可选框502,移动计算设备可以从屏幕本身获得目标屏幕的标识符/IP地址。例如,在移动计算设备和目标屏幕包括诸如RFID、BLUETOOTH,或NFC之类的兼容的短程通信技术的情况下,移动计算设备可以使用那些技术来获得目标屏幕的因特网协议地址。在某些实施例中,目标屏幕可包括存储目标屏幕的IP地址的RFID标记。在这样的情况下,包括RFID功能的移动计算设备可以在目标屏幕的RFID标记附近移动,以便从RFID标记获得目标屏幕的IP地址。
替代地或另外地,目标屏幕可以具有BLUETOOTH或NFC功能以及存储在其上的设备配对模块(DPM)。DPM可包括指令,所述指令,当由处理器执行时,导致目标屏幕响应于从移动计算设备接收到配对请求,使用BLUETOOTH或NFC,传输其IP地址。
换言之,移动计算设备可以本身包括DPM,该计算机可读指令,所述指令,当被执行时,导致移动计算设备通过NFC、BLUETOOTH,或其他短程通信网络,广播对屏幕IP地址的请求。类似地,目标屏幕可包括DPM,该包括指令,当被执行时,导致它监视是否有屏幕标识符/IP地址请求。当目标屏幕接收到对屏幕标识符/IP地址的请求时(例如,当移动计算设备进入与屏幕的通信范围内时),屏幕的DPM可以导致屏幕使用合适的通信形式,将其标识符/IP地址传输到移动计算设备。例如,当目标屏幕通过NFC或BLUETOOTH连接,从移动计算设备接收到IP请求时,目标屏幕的DPM指令,当被执行时,可以导致目标屏幕通过NFC或BLUETOOTH连接,将其IP地址传输到移动计算设备,视情况而定。
此处所描述的移动计算设备还可以尝试从第三方系统,诸如知道目标屏幕的标识符/IP地址的服务器,获得目标屏幕的标识符/IP地址。在这样的情况下,方法可以转到可选框503,在那里,移动计算设备可以与服务器进行通信(例如,通过WiFi、广域网,或另一种通信网络),并请求在移动计算设备附近的目标屏幕的标识符/IP地址。
一旦移动计算设备知道目标屏幕的标识符/IP地址,方法就可以转到框504,在那里,在移动计算设备和目标屏幕之间发起通信信道。另外,移动计算设备还可以与屏幕交换配对密钥,例如,用于促进屏幕向移动设备的认证或用于另一种用途。配对密钥可以是移动计算设备所特有的,和/或它可以是由移动计算设备的用户所指定的密钥。在任何情况下,移动计算设备都可包括设备配对模块(DPM),该设备配对模块包括配对指令,所述配对指令,当被执行时,导致移动计算设备将配对密钥传输到屏幕。一旦屏幕已经从移动计算设备接收到配对密钥,方法就可以转到框505,在那里,配对密钥显示在屏幕上。配对密钥的显示可以由在目标屏幕上执行设备配对模块所引起。
然后,方法可以转到框506,在那里,可以作出关于显示在目标屏幕上的配对密钥是否有效的判断。如果对配对密钥的验证失败,则方法转到框510,并结束。然而,如果对配对密钥的验证成功,则方法可以转到框507,在此,至少部分地通过在移动计算设备和目标屏幕之间建立配对会话和通信信道,建立配对的连接。配对会话和通信信道可以使用任何合适的无线通信协议来建立,诸如传输控制协议/用户数据报协议/因特网协议(TCP/UDP/IP)。取决于相应的设备的能力,移动计算设备和屏幕之间的通信信道可以是单向的(移动计算设备到屏幕)或双向的(移动计算设备到屏幕,以及屏幕到移动计算设备)。在某些实施例中,根据框507,在设备之间建立的通信信道是双向的。在其他实施例中,根据框507建立的通信信道是单向的。在后一种情况下,可以在屏幕和移动计算设备之间建立可选的通信反向信道。
作为示例,可以将此处所描述的移动计算设备和屏幕配对(即,可以具有配对的连接),以便使用第一套接字(诸如远程监视器套接字)将视频及其他信息从移动计算设备传输到屏幕。这可以实现视频及其他信息从移动计算设备向屏幕的单向传输。在额外的实施例中,配对协议还可以建立反向信道,以使信息能够从智能/无声屏幕传递到移动计算设备。可以使用用于视频及其他信息从移动计算设备向配对的屏幕的传输的相同套接字,或另一个套接字,建立反向信道。在某些实施例中,可将此处所描述的移动计算设备和屏幕配对,以便使用实时流传输协议(RTSP)套接字,建立反向信道(以及,可任选地,前向信道)。
关于这一点,此处所描述的移动计算设备以及屏幕可包括一个或多个反向信道模块,这些反向信道模块可包括计算机可读反向信道指令,这些指令当被执行时,导致根据本发明在移动计算设备和屏幕之间建立反向信道。由移动计算设备和屏幕的相应的处理器对反向信道指令的执行可以导致这样的设备协商用作通信反向信道的互相支持的套接字。如前面所指出的,此处所描述的移动计算设备和屏幕可被配置成支持使用RTSP套接字或另一种套接字,作为通信反向信道。
然后,方法可以转到框508,在那里,可维持配对会话,且移动计算设备可以监视是否有结束事件发生。更具体而言,移动计算设备上的设备配对模块指令当被执行时可以导致移动计算设备监视是否有将结束移动计算设备和配对的屏幕之间的配对会话和/或通信信道的事件的发生。这样的结束事件的非限制性示例包括信号故障、会话超时/期满,从在移动计算设备或屏幕上运行的应用接收到结束请求,其组合等等。在框509,可以作出关于是否被检测到结束事件的判断。如果没有检测到结束事件,则方法可以转回到框508,在那里,由移动计算设备进一步维持并监视会话和通信信道。然而,如果检测到结束事件,则方法可以转到框510,并结束。
在额外的示例性实施例中,移动计算设备与屏幕的配对可以以通过移动计算设备发起公共连接开始。即,可以将移动计算设备置于公共域中,例如,通过按下合适的按钮序列,利用设备,作出合适的手势,或通过另一方法。一旦发起了公共连接,移动计算设备就可以使用其无线通信接口,以及其可用的通信模态中的任何一种或全部,广播公共连接请求。例如,可以使用NFC、BLUETOOTH、ZigBee网络、WiFi、其组合,等等,从移动计算设备广播公共连接请求。
在此方法中,根据本发明的屏幕可以连续地或周期性地监视来自移动计算设备的公共连接请求。检测这样的请求的屏幕可以显示连接屏幕。另外,检测公共连接请求的屏幕还可以忽略一段时间(在下文中,忽略时段)内的其他公共连接请求。然后,可以向目标屏幕输入连接密钥,即,移动计算设备的用户希望与其配对的屏幕。可以使用与屏幕进行通信的输入设备,诸如键盘、触摸屏,或其组合,输入连接密钥。替代地或另外地,连接密钥的输入可以利用移动计算设备本身来进行,例如,使用其手势和/或运动识别功能(稍后所描述的)。在某些实施例中,在忽略时段期满之前,可能需要连接密钥的输入。如果连接密钥没有在忽略时段期满之前输入,则屏幕和移动计算设备的配对可能失败。
接收到连接密钥的屏幕可以使用其媒体或无线通信接口,将连接密钥传输到移动计算设备。用于传输连接密钥的有线/无线通信的形式可以关联到向屏幕提供公共连接请求的有线/无线通信的形式。一旦从屏幕接收到连接密钥,移动计算设备就可以对照其存储器中维护的连接密钥的副本,验证连接密钥。如果对连接密钥的验证成功,则移动计算设备可以验证并维持与屏幕的连接。然而,如果对连接密钥的验证失败,则移动计算设备可以结束配对过程。一旦在移动计算设备和屏幕之间建立了经验证的连接,屏幕就可以忽略随后接收到的公共连接请求,直到其现有的与移动计算设备的连接结束。
为安全性目的或另一原因,此处所描述的移动计算设备可被配置成存储多个连接密钥,并且在配对过程中,向屏幕提供这些密钥之一或其组合。在连接密钥可能处于被未经授权的第三方嗅探的危险之中的情况下,如当移动计算设备与屏幕的配对将在公共场所发生时的情况,这可以增强安全性。根据本发明,方法还可以进一步包括在在移动计算设备和屏幕之间建立经验证的配对的连接之前,在其过程中,或之后,验证移动计算设备的用户的身份。该用户验证可以以生物统计学方式来执行,例如,利用用户名和密码协议,利用基于手势的协议,其组合,等等。
在移动计算设备将与它之前与其配对过的单一屏幕配对的情况下,连接密钥的交换和/或可选的用户验证可以省略,并且一旦由屏幕从移动计算设备接收到公共连接请求,设备和屏幕就可以配对。如果在移动电子设备的范围内存在多个已知的屏幕,则可以将到这些设备中的一个的连接与到另一设备的连接区别开来,如上文所说明的。替代地或另外地,移动计算设备可被配置成采用到多个已知屏幕中的一个的连接,并响应于诸如按钮按压、手势,其组合之类的输入,将连接反转或切换到另一已知屏幕。
作为示例,此处所描述的技术可以作为包括至少一个移动计算设备和至少一个非整体屏幕的“套件”来制造。在这样的情况下,套件中的移动计算设备和屏幕可以是出厂就是配对的。即,套件中的屏幕的配对信息可以被预先加载在套件中的移动计算设备,反之亦然。在这样的情况下,上文所讨论的配对和/或用户验证操作可以省略,套件中的设备和屏幕可以使用预先加载的配对信息,彼此配对。现在参考图6A和6B,这些图示出了根据本发明的屏幕发起的配对方法的非限制性示例。如图6A所示,屏幕103可以发起与移动计算设备101的配对。设备101和屏幕103的配对可以使用图6B中所描绘的示例性方法来进行。
如图6B所示,屏幕发起的配对方法可以从框601开始。在可选框602,屏幕可以使用可用的传感器,监视是否有兼容的移动计算设备存在。例如,屏幕可以使用其无线通信接口来监视来自兼容的移动计算设备的广播(例如,包含配对请求,设备可用于配对的指示符,等等)。在某些实施例中,此监视功能可以通过由屏幕对设备配对模块(DPM)的执行来促进。更具体而言,屏幕的DPM可包括指令,所述指令,当被执行时,导致屏幕例如使用屏幕可用的传感器或其他组件监视是否存在兼容的移动计算设备。
然后,方法可以转到可选框603,在那里,可以作出关于是否存在兼容的移动计算设备的判断。如果不,则方法可以返回到可选框602(如图6B所示),或它可以结束(未示出)。如果存在兼容的移动设备(如由根据框602执行的监视功能判断的或如果兼容的移动计算设备的存在是已知的),则方法可以转到框604,在那里,屏幕发起与移动设备的配对。关于这一点,屏幕可以使用可用的短程通信网络,发起与兼容的移动计算设备的通信信道连接。例如,屏幕可以通过NFC、ZigBee网络、WiFi网络,其组合,等等,将配对请求(例如,包括屏幕的IP地址、支持的视频模式、支持的视频压缩的形式,支持的分组格式,等等)传输到移动计算设备。响应于接收到配对请求,兼容的移动计算设备可以与屏幕协商第一级别连接。
一旦在屏幕和移动计算设备之间已经发起通信信道连接,方法就可以转到框605,在那里,可以在屏幕和移动计算设备之间建立信任的根。信任的根可以以任何合适的方式来建立。例如,屏幕和移动计算设备可以使用任何合适的证明协议,通过向彼此证明它们的身份,执行环境,等等,彼此建立信任的根。作为这样的协议的非限制性示例,提及增强的隐私标识(EPID)协议、远程证明(RAA)协议,直接自治证明(DAA)协议,其组合,等等。在这样的情况下,一旦屏幕成功地向移动计算设备证明,就可以建立信任的根,反之亦然。替代地或另外地,可以基于移动计算设备和屏幕之间的以前的连接,建立信任的根,在这样的情况下,可能不需要证明。
然后,方法可以转到框606,在那里,可以作出关于信任的根的建立是否成功或失败的判断。如果信任的根的建立失败,则方法可以转到框612,并结束。然而,如果信任的根被成功地建立,则方法可以转到框607。
在框606,可以向屏幕验证移动计算设备的身份(或其用户)。根据此框执行的身份验证操作可以使用任何合适的身份验证协议来执行。例如,屏幕可以使用用户名和密码协议、生物特征认证协议、基于手势的协议其组合等等,来确认移动计算设备或其用户的身份。例如,屏幕可以对照经认证的用户名和密码组合(或生物特征信息)的数据库验证输入的用户名和密码(或生物特征信息)的有效性。替代地或另外地,屏幕可以基于由移动计算设备的移动所生成的输入的陀螺仪的和/或加速度计数据(例如,手势)来验证移动设备和/或用户的身份,无论是单独地还是与向设备作出的输入(例如,使用一个或多个按钮或其他输入设备)相结合。
然后,方法可以转到框608,在那里,可以作出关于是否成功地验证移动设备和/或用户的身份的判断。如果验证失败,则方法可以转到框612,并结束。如果验证成功,则方法可以转到框609,在该过程中,可以在移动计算设备和屏幕之间建立配对会话和通信信道。在此方法中,配对会话和通信信道的建立基本上与上文结合图5B所描述的相同,为了简洁起见,不重复。在框610,屏幕和/或移动计算设备可以维持该会话,并监视是否有结束事件,并在框611a,可以作出关于是否发生了结束事件的判断。如果没有发生结束事件,则方法可以从框611返回到框610,在那里,对会话的监视继续。然而,如果检测到结束事件,则方法可以从框611前进到框612,在此,会话结束,方法结束。
在某些情况下,当有多个兼容的屏幕在范围之内时,可能期望将移动计算设备与单一屏幕配对。此概念在图7A中示出,在那里,多个屏幕1031,1032,103n(n是从1到1000或更大的非零整数)在设备101的范围之内并可用于配对。在这样的情况下,设备101和屏幕1031,1032,103n中的一个的配对可以使用设备101和它将与其配对的屏幕两者来促进。
如可以理解的,由于此处所描述的移动计算设备可能不包括显示器,因此,在有多个屏幕可用于配对的情况下,安全性可能是一个重要考虑。具体而言,重要的是,确保配对只与计划的屏幕发生,而不与非希望的屏幕发生。这在当此处所描述的移动电子设备能够将视频及其他信息传输到它与其配对的屏幕时特别正确。在在屏幕和移动计算设备之间建立了反向信道的情况下,特别是在屏幕能够通过反向信道来访问或控制移动计算设备上的资源的情况下,安全性可能越发重要。
考虑到这一点,参考图7B,该图7B示出了根据本发明的另一示例性配对方法。如图所示,方法从框701开始。在框702,将与移动计算设备配对的第一屏幕可以被置于配对模式。可以在接收到通过与第一屏幕形成整体或与其耦合的输入设备作出的输入时,发起配对模式。例如,第一屏幕可以被配置成响应于特定按钮按压、触摸输入、滑动,运动,其组合,等等,进入配对模式。虽然不是必需的,但是,第一屏幕可以产生可视指示器,以表明它处于配对模式。例如,第一屏幕可以发光(例如,发光二极管),在其屏幕上发出通知,振动,等等,以表示它处于配对模式。
一旦第一屏幕被置于配对模式,方法就可以转到框703,在那里,第一屏幕可以将锁定信号传输到范围内的其他屏幕(在下文中,“相邻屏幕”)。一般而言,锁定信号可以被配置成阻止相邻屏幕(即,第一屏幕的通信范围内的屏幕)接受来自任何一个移动计算设备的配对请求。参考图7A,如上文所讨论的,屏幕1032可以被置于配对模式,并通过有线或无线通信接口,将锁定信号传输到屏幕1031,103n。响应于锁定信号,屏幕1031,103n可以进入锁定模式,并忽略任何配对请求,例如,持续指定的时间段,或直到从屏幕1032收到释放信号。类似地,屏幕1031,103n当在锁定模式时可能不尝试发起与任何移动计算设备的配对。
一旦发送了锁定信号,方法就方法可以转到框704,在那里,第一屏幕可以监视是否从单一移动计算设备接收到配对信号。关于这一点,如上文所讨论的,可以由根据本发明的移动计算设备,使用任何合适的有线或无线通信网络,传输配对信号。在某些实施例中,移动计算设备可以被配置成响应于输入,诸如按钮按压、手势,或其组合,传输配对信号。在任何情况下,方法都可以转到框705,在那里,可以由第一屏幕作出关于是否接收到单一配对信号的判断。如果没有接收到单个配对信号或如果同时接收到多个配对信号,则方法可以转到框706,在那里,第一屏幕可以判断用于连接的时段是否超时。如果是,则方法转到框711,并结束。在这样的情况下,第一屏幕可以被配置成利用音频和/或视觉指示器,诸如发光,一连串音频提示(例如,蜂鸣声),其组合,等等,指出连接失败。如果用于连接的时间段没有期满,则方法可以回到框704,在那里,第一屏幕可以继续监视是否从单一移动设备接收到配对信号。
一旦第一屏幕从单一移动计算设备接收到配对信号,方法就可以从框705前进到框707,在那里,第一屏幕和移动计算设备可以根据在图6B的框604-608中所描述的方法配对,并可以按与在图6B的框609中所描述的相同方式建立配对会话和通信信道。然后,方法可以转到框709,在那里,第一屏幕和/或移动计算设备可以维持会话,并监视是否有结束事件发生。在框710,可以由第一屏幕和/或移动计算设备作出关于是否发生了结束事件的判断。如果是,则方法可以转到框711,在那里,会话和通信信道结束,且方法结束。如果没有发生结束事件,则方法可以回到框709,在那里,第一屏幕和/或移动计算设备可以继续维持会话和通信信道,并监视是否发生结束事件。
本发明的另一方面涉及用于从移动计算设备向智能/无声屏幕传输视频和/或其他信息的系统和方法。关于这一点,在配对过程中或在配对之后,可以在移动计算设备和屏幕之间建立通信信道,以使移动计算设备彼此进行通信。通信信道可以通过模块在本发明的移动计算设备和/或屏幕上的执行来促进。这样的模块可包括设备配对指令,这些指令,当由处理器执行时,导致它们的相应的设备创建配对的连接,包括适用于移动计算设备和屏幕之间的单向的和/或双向通信的通信信道。例如,设备配对指令,当由两个设备中的任何一个执行时,导致这样的设备使用TCP套接字协议来建立供移动计算设备通过物理(例如,USB)连接或者无线连接,诸如WiFi、带有千兆功能的无线(WiGig)、毫米波技术、超高频通信,其组合,等等,向屏幕传输视频及其他信息的套接字。在某些实施例中,设备配对指令,当被执行时,还可以导致移动计算设备和/或屏幕建立用于从屏幕向移动计算设备传输信息的反向信道。上文描述了这样的信道的建立,为了简洁起见,不再重复。
此处所描述的移动计算设备和屏幕可以分别被配置成以多种方式来传输与接收视频信息。例如,此处所描述的移动计算设备和屏幕可以被配置为,以便它们兼容于现有的无线视频传输技术,诸如无线显示(WiDi)和/或WiGig技术,无线USB,或另一种现有的无线视频技术。这些现有的技术的操作和硬件要求是很好地理解的,因此,此处不再详细描述。
虽然现有的无线视频技术可能有用,但是,它们可能存在一种或多种缺点。例如,此处所描述的移动计算设备和屏幕可以被配置为,以便可以使用无线显示(“WiDi”)技术,将视频信息从移动计算设备传输到屏幕。尽管此技术有用,但是,WiDi的某些实现可能依赖于在接收器(例如,屏幕)那一端使用特定的硬件,例如,用于缩小延迟。具体地,WiDi的当前实现可能要求在屏幕(接收器)那一端使用特定网络接口和视频硬件,以便可以从屏幕的网络接口直接检索由屏幕接收到的视频信息,并直接置于屏幕的视频电路的视频缓冲器中。如此,尽管移动计算设备和屏幕可以被配置成支持WiDi,但是,该技术的硬件局限性可能是十分限制性的,特别是在用户希望将移动计算设备配对到没有支持WiDi所需的硬件的屏幕的情况下。
另外,WiDi的某些实现一般启用从视频的源到屏幕的单向通信。如此,尽管可以将视频及其他信息从移动计算设备传输到启用WiDi的屏幕,但是,现有的WiDi协议可能不准许从屏幕向移动计算设备传输数据。更具体而言,某些WiDi协议可能不准许来自连接到屏幕的输入设备的数据从屏幕传输回到移动计算设备。由于这些及其他理由,可能需要用于从移动计算设备向屏幕传输显示(视频)信息的其他选项。
为解决现有的无线显示技术(特别是WiDi)所存在的挑战中的一项或多项,发明人开发了用于从移动计算设备向配对的智能/无声屏幕传输显示信息的两种新的无线显示协议。这些协议此处被称为“framethrower(帧抛掷器)”和“streamthrower(流抛掷器)”。如下面将详细地讨论的,这两个协议都使用对等通信来从移动计算设备直接向屏幕传输视频及其他信息。如此,它们与诸如虚拟网络计算(VNC)和虚拟显示计算(VDC)之类的通过诸如因特网、企业网络等等之类的中间IP网络从主机(服务器)向客户端传输显示的技术有很大的差别。此外,由于framethrower和streamthrower协议使用对等通信,因此,它们可能不遭受在使用VNC和/或VDC技术的系统下会经历的延迟问题。最后,framethrower和streamthrower协议可以由具有合适的处理能力的任何屏幕执行,如此,降低、最小化或消除由其他无线视频技术的硬件特定的要求可能施加的局限性。
因此,本发明的一个方面涉及被配置成使用framethrower协议来向智能/无声屏幕传输视频信息的移动计算设备。这样的设备一般包括如上文参考图2所描述的设备101的元件中的任何一个或全部。具体而言,这样的设备一般包括至少部分地以硬件实现的逻辑,诸如处理器、存储器、无线通信接口(WCOMMS)、媒体接口、一个或多个传感器、电源,以及,可任选的一个或多个输入设备。处理器可执行可以存储在移动计算设备的存储器中的操作系统。存储器还可以存储framethrower模块,该framethrower模块可包括计算机可读指令,所述指令,当由处理器执行时,可以导致移动计算设备通过媒体(有线)接口或无线通信接口,使用framethrower协议,向配对的智能/无声屏幕传输视频和/或其他数据。
现在参考图8,该图8描绘了根据本发明的示例性framethrower协议的流程图。为了便于讨论起见,描述图8的协议时假设它正在由移动计算设备的处理器从也在该处理器上执行的操作系统的上下文内执行。还假设,方法是在移动计算设备与屏幕成功地配对之后执行的。应该理解,此描述只是示例性的,framethrower协议可以由移动计算设备在另一种上下文中执行,诸如在预先引导上下文中。
如图8所示,framethrower协议从框801开始。在框802,framethrower模块指令,当由移动计算设备的处理器执行时,可以导致移动计算设备在内核级别捕捉其帧缓冲器。应该理解,帧缓冲器可以是移动设备其本身的或应用在移动计算设备上的执行的结果,移动计算设备上的操作系统,或其组合。
在任何情况下,framethrower模块指令都可以被理解为包括在内核级别捕捉帧缓冲器(例如,以图形帧的形式)的一个或多个有特权的OS操作。一旦已经捕捉帧缓冲器的至少一个帧,方法就可以前进到可选框803,其中,可以压缩捕捉到的帧缓冲器。如稍后将参考图9讨论的,帧缓冲器被压缩的程度可以基于很多因素而不同,诸如处理器负载、压缩时间以及移动计算设备和配对的智能/无声屏幕之间的配对的连接中的可用带宽。
在某些实施例中,可以使用帧间压缩、帧内压缩、颜色空间压缩、数据减少,或其组合,来压缩帧缓冲器。并非限制地,优选地,使用帧内压缩,来压缩帧缓冲器,即,其中每一个单个帧的数据都被压缩。在任何情况下,压缩都可以通过移动计算设备中所包括的软件或硬件压缩引擎来执行。
在捕捉到的帧缓冲器的压缩之后或如果捕捉到的帧缓冲器不被压缩,则方法可以前进到框804,在那里,捕捉到的帧缓冲器可以封装在分组中。关于这一点,framethrower指令,当被执行时,可以导致捕捉到的帧缓冲器(例如,通过软件或硬件流水线)传输到移动计算设备的无线通信接口,在此,诸如网络接口芯片/卡之类的相关硬件可以将捕捉到的帧缓冲器封装到分组中。例如,无线通信接口内的网络接口卡/芯片可以将捕捉到的帧缓冲器封装到适用于使用预定的传输协议,诸如在本发明的日期之前由电气与电子工程师学会(IEEE)所规范的802.11标准中的任何一个或全部,来进行有线或无线传输的分组中。
可以使用任何合适的分组格式来封装帧缓冲器。作为可以根据本发明使用的一种示例性分组格式,提及因特网协议(IP)分组、TCP分组、UDP分组、RTSP分组,其组合,等等。并非限制地,优选地,帧缓冲器被封装在IP分组中。
然后,该方法可以前进到框805,在那里,封装了捕捉到的帧缓冲器的一个或多个帧的分组可以被传输到与移动计算设备配对的智能/无声屏幕。分组的传输可以通过在移动计算设备和智能/无声屏幕之间建立的通信信道(例如,TCP套接字)来进行,如上文所讨论的。无限制地,分组的传递通过无线配对的连接,例如,一个或多个无线对等通信网络,诸如WiFi、NFC、WiGig、有线/无线USB、毫米波通信、超高频通信,或其组合,以无线方式进行。
一旦移动计算设备开始向智能/无声屏幕传输封装了捕捉到的帧缓冲器的一个或多个帧的分组,这样的分组的传输就可以继续,直到发生结束事件。因此,方法可以前进到框806,在那里,framethrower模块指令当被执行时可导致移动计算设备监视是否有结束事件发生。结束事件的非限制性示例包括上文结合图5A-7B中所示出的配对方法所描述的那些。在框807,可以作出关于是否发生了结束事件的判断。如果没有发生结束事件,则方法可以返回到框802,在那里,移动计算设备继续监视是否发生结束事件。一旦发生了结束事件,方法就可以转到框808,在此,封装了捕捉到的帧缓冲器的分组的传输结束,方法结束。
如上文所指出的,framethrower协议可以可任选地压缩捕捉到的帧缓冲器的帧,然后,将它们封装在分组中,并传输到配对的智能/无声屏幕。虽然在有限的带宽可用于将视频信息传输到配对的智能/无声屏幕的情况下压缩有用,但是,它可能会增大移动计算设备的处理器上的处理负载。在某些情况下,由对帧缓冲器的压缩对处理器施加的负载可能会足够大,以影响以无线方式传输的显示的性能。实际上,如果处理器不能足够快地压缩捕捉到的帧缓冲器的帧,则可能会跳过捕捉到的帧缓冲器的一个或多个帧的传输。替代地或另外地,由屏幕所产生的显示可能以小于希望所每秒帧数来执行。类似地,移动计算设备和屏幕之间的无线连接中的带宽可能是有限的,这会影响抛掷的显示的性能,不管屏幕和移动计算设备的相应的能力如何。这些问题中的任何一种都可能会导致不希望的用户体验和/或不适合特定任务的显示性能。
作为用于解决前面的问题的一个选项,本发明的移动计算设备可以被配置成动态地调整应用于捕捉到的帧缓冲器的帧的压缩的级别和/或类型,以便实现所希望的性能量度,诸如处理器性能(例如,负载)、显示性能(例如,每秒帧数)、带宽维护、功率消耗,其组合,等等。关于这一点,存储在移动计算设备的存储器中的framethrower模块可包括压缩优化组件,该压缩优化组件包括计算机可读压缩优化指令,这些指令,当被执行时,导致移动计算设备监视一个或多个性能量度,并动态地调整应用于捕捉到的帧缓冲器的压缩的量和/或类型,以便实现所希望的性能级别。
现在参考图9,该图9描绘了示例性framethrower协议的流程图,该协议包括压缩优化组件,以动态地调整应用于捕捉到的帧缓冲器的帧的压缩。如图所示,方法从框901开始。在框902,framethrower模块指令,当由移动计算设备的处理器执行时,可以导致设备在内核级别捕捉设备的帧缓冲器,如上文结合图8的框802所描述的。
在框903,framethrower指令,当被执行时,可以导致移动计算设备使用指定类型的压缩并以指定的压缩级别,压缩捕捉到的帧缓冲器的帧。在初始执行时,捕捉到的帧缓冲器的帧可能是未经压缩的或利用第一压缩类型以初始(第一)压缩级别压缩的。可以以与如上文对于图8的框803所描述的相同或类似的方式执行对帧的压缩。在某些实施例中,可以在移动计算设备与兼容的智能/无声屏幕配对过程中,例如,在上文所讨论的配对协议中的一个的执行过程中,确定应用于每一个帧的初始类型和压缩级别。这在智能/无声屏幕能够解压缩只利用某些类型的压缩算法来压缩的数据的情况下,可能重要。
然后,该方法可以前进到框904和905,在那里,捕捉到的帧缓冲器的经压缩的帧被封装在分组中,并传输到配对的屏幕,供显示。根据这些框执行的操作基本上与上文结合图8的框804和805所描述的那些相同,如此,将不再重复。然而,由于应用于捕捉到的帧缓冲器的每一个帧的压缩的类型和压缩级别可能在此方法中不同,因此,压缩优化指令,当被执行时,可以导致移动计算设备利用关于应用于封装在这样的分组中的帧的压缩的类型和/或级别的信息,注释根据框904所产生的每一个分组。此信息可以被配对的屏幕用来适当地解码和/或解压缩它从移动计算设备接收到的分组。
在框906,可以对照应用于捕捉到的帧缓冲器的帧的压缩的类型和级别,监视一个或多个性能量度。即,压缩优化指令(与framethrower指令形成整体到与其分开),当由移动计算设备的处理器执行时,可以导致设备对照根据框903应用的压缩的类型和/或级别,监视一个或多个性能量度。
可以被监视的性能量度的类型和本质会大大地不同,并可包括移动计算设备固有的和/或外在的量度。移动计算设备固有的合适的性能量度的非限制性示例包括处理器负载、对一帧的完全压缩所需的处理器周期/时间、功率使用、电池电量、其组合,等等。移动计算设备外在的合适的性能量度的非限制性示例包括显示帧速率、移动计算设备和配对的屏幕之间的通信信道的信号强度/带宽,其组合,等等。
在框907,可以在考虑到一个或多个预设的性能阈值的情况下,作出关于被监视的性能量度是否是可接受的判断。关于这一点,压缩优化指令,当被执行时,可以导致移动计算设备将被监视的性能量度中的一项或多项与一个或多个对应的性能阈值进行比较。性能阈值可以由移动计算设备的用户设置(例如,基于用户偏好),或可以由制造商或服务提供商预设,以定义可接受的性能的特征(例如,服务质量)。
如果被监视的性能量度不符合或超出相关性能阈值,则方法可以前进到框908,在那里,可以调整应用于捕捉到的帧缓冲器的帧的压缩的类型和/或级别。压缩的类型可以在一种类型与另一种类型之间不同,以一种压缩类型应用的压缩级别可以被向上调整(增大压缩)或向下调整,以解决所标识的性能缺陷和/或实现所希望的性能平衡。
例如,移动计算设备可以被配置成执行前瞻性无线管理。在这样的实施例中,移动计算设备可以被配置成监视与配对的屏幕建立的连接中可用的带宽,以及使用特定帧压缩技术和/或级别,来压缩帧所花费的处理器负载/CPU周期。通过这样的监视获得的信息可以被用来动态地调整各种参数,诸如压缩类型、视频分辨率、视频内容,等等,以便获得所希望的显示性能级别。
作为示例,根据本发明的移动计算设备可以配备有相对慢的处理器,但是,可能已经与配对的屏幕建立了高带宽连接。在该情况下,最初应用于捕捉到的帧缓冲器的帧的压缩的类型和级别可能会对处理器施加超出预定的处理器负载阈值的负载,而同时保留设备和配对的屏幕之间的连接中可用的某些带宽。为了补偿,压缩优化指令,当被执行时,可以导致移动计算设备降低应用于捕捉到的帧缓冲器的帧的压缩的级别,改变为较低处理器强度的压缩类型,改变抛掷的视频的分辨率,以别的方式修改抛掷的视频,其组合,等等。
那些改变中的任何一个都可能会缩小处理器上的负载,潜在地,到处理器负载在预定的处理器阈值内的程度。在某些实施例中,这样的调整可能会以提升的带宽消耗为代价,因为降低压缩的级别和/或调整到较低强度的压缩类型可能会导致相对于使用较高级别的压缩和/或较高强度的压缩类型的情况,需要传输较大的和/或额外的分组。
在另一个示例中,移动计算设备可包括相对快速的处理器,但是,可能已经与配对的屏幕建立了相对低带宽连接。在这样的情况下,由初始压缩类型和级别施加的处理器负载可以在可接受的处理器负载阈值内,但是,传输足够的分组所需的带宽可能在通信信道中不可用。为解决此问题,压缩优化指令,当被执行时,可以导致移动计算设备切换到能够提高帧压缩的较高处理器强度的压缩类型,和/或增大应用于捕捉到的帧缓冲器的帧的压缩级别。这样的调整中的任何一个或者两者都可以降低通过通信信道传输的分组的大小和/或数量,潜在地,到可接受的带宽阈值内。在某些实施例中,这样的调整可能会以提升的处理器负载为代价,因为提高压缩的级别和/或调整到较高强度的压缩类型可能会导致相对于使用较低级别的压缩和/或较低强度的压缩类型的情况,需要额外的处理器周期来执行压缩。
一旦根据框908作出了对压缩的类型和/或级别的调整,方法就可以回到框903,在那里,对捕捉到的帧缓冲器的额外的帧应用经调整的压缩的类型和/或级别。然后,方法可以重复框903到907,直到实现令人满意的性能级别。
一旦实现了令人满意的性能级别,方法就可以前进到框909,在那里,framethrower指令当被执行时可以导致移动计算设备监视是否发生结束事件。如果没有检测到结束事件,则方法可以循环返回到框902,并重复。如果检测到结束事件,则方法可以前进到框911,并结束。
本发明的另一方面涉及被配置成使用streamthrower协议来向智能/无声屏幕传输视频信息的移动计算设备。如下文所描述的,这样的设备可以使用视频流传输技术来通过有线或无线连接,向配对的屏幕传输视频信息。这与使用framethrower协议的设备不同,其中,帧缓冲器的单个帧可以被捕捉,并被输出到配对的屏幕。
被配置成使用streamthrower协议的移动计算设备可包括如上文参考图2所描述的设备101的元件中的任何一个或全部。具体而言,这样的设备可包括处理器、存储器、无线通信接口(WCOMMS)、媒体接口、一个或多个传感器、电源,以及,可任选地,一个或多个输入设备。移动计算设备的处理器可以执行可被存储在存储器中的操作系统。另外,streamthrower模块还可被存储在移动计算设备的存储器中。streamthrower模块可包括计算机可读streamthrower指令,所述指令,当由处理器执行时,可以导致移动计算设备通过媒体(有线)接口或无线通信接口,使用streamthrower协议,向配对的智能/无声屏幕传输视频和/或其他数据。另外,设备可配备有可选视频压缩引擎(未示出),该引擎可以是硬件、软件或其组合的形式。
现在参考图10,该图10描绘了根据本发明的示例性streamthrower协议的流程图。为了讨论起见,描述图10的协议时假设它正在由移动计算设备的处理器从操作系统的上下文内执行。还假设,方法是在移动计算设备和屏幕成功地配对之后执行的。应该理解,此描述只是示例性的,streamthrower协议可以由移动计算设备在另一种上下文中执行。
在图10的实施例中,streamthrower协议从框1001开始。在框1002,streamthrower模块指令当由移动计算设备的处理器执行时可以导致该设备在内核级别捕捉该设备的帧缓冲器。相应地,streamthrower模块指令可以被理解为包括在内核级别捕捉图形帧的一个或多个有特权的OS操作。然后,该方法可以转到框1003,在那里,捕捉到的帧缓冲器可以被转换为视频。
捕捉到的帧缓冲器转换到视频可以使用软件、硬件,或其组合来执行,以便产生所希望的格式的视频输出。可以使用任何合适的视频格式,诸如,但不仅限于,运动图像专家组(MPEG)格式(例如,MPEG-2、MPEG-4(MP4),等等)、Apple文件格式、flash视频格式、M4V格式、windows媒体视频(WMV)格式、html5视频格式、其组合,等等。捕捉到的帧缓冲器转换到这样的格式中的一种或多种可以使用已知转换协议来实现,转换协议可以在硬件、软件,或其组合中执行。
一旦捕捉到的帧缓冲器被转换为视频,该方法就可以前进到可选框1004,在那里,streamthrower指令,当执行时,可以导致移动计算设备压缩视频。关于这一点,移动计算设备可包括被配置成压缩根据框1003所产生的视频的硬件和/或软件压缩引擎(未示出)。并非限制地,本发明的移动计算设备优选地包括用于此用途的硬件压缩引擎。可以使用的合适的压缩引擎的非限制性示例包括H.264、红绿蓝(RGB)到U'UV420,其他压缩引擎,其组合等等。
一旦视频已经被压缩,或者如果视频没有被压缩,则方法就可以前进到框1005,在那里,streamthrower指令,当被执行时,可以导致移动计算设备通过建立的通信信道,将视频传输到配对的屏幕。即,streamthrower指令,当被执行时,可以导致根据框1002以及可任选地1003所产生的视频,通过建立的有线或无线连接,传输到配对的智能/无声屏幕。视频的传输可以使用任何合适的视频传输协议,诸如视频流传输协议,来实现。可以使用的合适的视频流传输协议的非限制性示例包括RTSP、其他视频流传输协议,其组合等等。
可以基于移动计算设备以及配对的屏幕的能力,选择根据框1002所产生的视频的类型、根据框1003应用的压缩的类型(如果有的话),和/或视频流传输协议的类型。关于这一点,移动计算设备和配对的屏幕可以在上文所讨论的任何一个配对过程中,协商兼容的视频格式、压缩类型/级别,以及流传输协议。
一旦向屏幕的视频传输开始,方法就可以转到框1006,其中移动计算设备可以监视结束事件的发生。在框1007,作出关于是否发生了结束事件的判断。如果没有发生结束事件,则方法可以循环返回到框1002,并重复。一旦发生了结束事件,方法就可以前进到框1008,在此,视频信息的捕捉和传输停止,方法结束。
考虑到前面的内容,此处所描述的屏幕可以被配置成接收包含利用由移动计算设备执行的framethrower和/或streamthrower协议所产生的视频信息的信号,解码这样的信号,以获得包含在其中的视频信息,并导致这样的信息呈现/显示在显示器上。关于这一点,此处所描述的屏幕可包括存储在其存储器中的视频解码模块。视频解码模块可包括计算机可读解码指令(例如,JAVA或其他代码),这些指令,当由所述屏幕的处理器或专用集成电路执行时,导致屏幕解码包含从移动计算设备接收到的视频及其他信息的信号。在某些实施例中,解码指令被配置成使屏幕能解释和/或解码包含视频信息的分组,解压缩这样的视频信息,和/或导致这样的视频信息显示在屏幕上。相应地,解码指令可以被配置成支持分组格式、视频格式,以及由配对的移动计算设备所使用的压缩类型/量。
被抛掷到屏幕的显示的性能可能会受到很多因素的影响,包括移动计算设备性能、移动计算设备以及屏幕之间的通信链路中的可用带宽、屏幕(如果有的话)的处理能力,以及其组合。例如,移动计算设备以及屏幕之间的无线通信链路可能具有有限的带宽。在这样的情况下,通信链路可能不能以足够产生适当的用户体验的速率(如可能由服务质量所定义的)将视频信息从移动计算设备输送到屏幕。
为解决此问题,移动计算设备和/或屏幕可以被配置成支持多种形式的无线通信,并可以利用这样的形式的全部或一部分,来获得所希望的抛掷的显示的性能。更具体而言,此处所描述的移动计算设备和/或屏幕可以支持通过一种或多种信道的多种形式的通信,并可以使用这样的形式中的任何一种或全部来实现所希望的显示性能的级别。
因此,此处所描述的移动计算设备和屏幕可以各自都包括存储在其存储器中的多信道视频传输模块(MVTM)。如下文所描述的,MVTM可包括计算机可读多信道指令,这些指令,当由移动计算设备和/或屏幕执行时,导致移动计算设备和/或屏幕通过多种通信信道和/或利用多种不同的通信模式,来传递视频和/或其他信息。
现在参考图11,该图11描绘了使用一种或多种通信信道/模式来从移动计算设备传输视频信息的示例性方法。为了此讨论起见,假设移动计算设备以无线方式与兼容的屏幕配对,在执行所述方法之前,建立了单个通信信道,诸如上文所描述的。
如图所示,方法从框1101开始。在框1102,移动计算设备可以通过建立的连接/信道,将视频和/或其他信息传输到配对的屏幕。即,移动计算设备可以通过建立的无线通信信道,将其显示抛掷到配对的屏幕。然后,所述方法可以前进到框1103,其中移动计算设备和/或屏幕可以监视抛掷的显示的性能,并将它与预先建立的显示性能要求进行比较。对抛掷的显示的性能的监视可以以任何合适的方式来执行。作为示例,移动计算设备可以监视通过建立的反向信道,从配对的屏幕接收到的显示性能的报告(例如,每秒帧数)。替代地或另外地,移动计算设备可以监视视频数据被从其无线通信接口传输到配对的屏幕的速率和/或速度,并将它与预先确定的速率/速度要求进行比较。其他量度可包括丢弃的帧数、每秒钟显示的帧数、帧更新之间的最大时间,其组合,等等。同样,屏幕可以被配置成监视抛掷的显示被呈现/显示的每秒帧数,和/或从移动计算设备接收到视频数据的速度/速率。
然后,方法可以前进到框1104,其中可以作出关于抛掷的显示的性能是否适当的判断。这样的判断可以基于由移动计算设备和/或屏幕作出的抛掷的显示的被监视的性能与预先确定的性能要求的比较,性能要求可以通过服务质量来设置。如果判断被监视的性能适当,则方法可以前进到框1109,在那里,可作出关于视频信息的传输是否将继续的判断。如果是,则方法可以循环返回到框1102,并重复。如果否,则方法可以前进到框1110,并结束。
如果判断抛掷的显示的性能不适当,则方法可以前进到框1105,在那里,可以由移动计算设备和/或屏幕作出关于是否有额外的通信模式可用并被支持的判断。如果没有额外的通信模式可用并被移动计算设备和屏幕支持,则方法可以前进到框1109,潜在地,前进到框1110。然而,如果有额外的通信模式可用并被移动计算设备和屏幕支持,则方法可以前进到框1106,在那里,使用额外的通信模式中的一种或多种,在各设备之间建立补充连接。
例如,移动计算设备和屏幕可以各自都支持通过WiFi和NFC的通信。在这样的情况下,移动计算设备和屏幕的配对可以只使用NFC在它们之间建立初始连接。根据图9所示出的方法,屏幕和/或移动计算设备可以监视使用NFC连接从移动计算设备到抛掷到屏幕的显示的性能。如果判断抛掷的显示的性能不适当(根据框1104),则移动计算设备和/或屏幕可以根据框1105确定,WiFi通信可用,并被它们两者支持。然后,根据框1106,移动计算设备和/或屏幕可以使用互相支持的WiFi协议,彼此协商并建立补充无线连接。
然后,方法可以前进到框1107,在那里,可以作出关于补充连接是否已经建立的判断。如果否,则方法可以前进到框1109,并从那里到框1102或1110。如果是,则方法可以前进到框1108,在那里,移动计算设备可以使用补充连接,补充向屏幕的视频信息的传输。例如,移动计算设备可以在初始连接(例如,NFC)和补充连接(例如,WiFi)之间拆分或以别的方式分配包含视频信息的分组的传输,以便获得合成连接,该连接具有超出初始连接的带宽的带宽,和/或表现出相对于初始连接的其他好处,诸如稳定性提高。然后,方法可以循环返回框1102,并重复,直到视频信息的传输结束。
如上文所讨论的,此处所描述的移动计算设备可以被配置成通过有线或无线连接,将视频传输到一个或多个配对的屏幕。在某些情况下,可以利用此功能,以便程序(例如,操作系统和/或在操作系统的上下文中执行的应用)在移动计算设备上执行,通过这样的程序的执行所产生的显示输出被传输到不与设备形成整体的配对的屏幕,供显示。
作为示例,此处所描述的移动计算设备可以被配置成执行诸如Microsoft操作系统、Google操作系统、iOS和/或OS操作系统、Linux操作系统之类的操作系统,另一操作系统或其组合。这样的操作系统,当被执行时,产生促进用户与操作系统以及从操作系统的环境内执行的应用的交互图形用户界面(GUI)。在传统的设备中,GUI可以显示在与设备形成整体的或利用有线连接而连接到设备的屏幕上。
类似于传统的设备,本发明的移动计算设备还可以执行诸如上文所提及的那些之类的操作系统。然而,与传统的设备不同,此处所描述的移动计算设备可能缺乏整体的显示器,并可以被配置成向非整体的显示器传输或“抛掷”在操作系统或应用的执行过程中所产生的显示输出(例如,GUI),如上文所讨论的。结果可以是分解的计算系统,其中,操作系统和应用的处理和执行在移动计算设备上发生,但是,由这样的处理和执行所产生的视频输出被传输到非整体的屏幕,供显示,例如,使用移动计算设备和屏幕之间的无线连接。
许多屏幕(例如,膝上型显示器、电视机、智能电话显示器等等)被配置成以某一朝向(横向/纵向)并以某一纵横比(16:9;16:10;4:3;等等)最佳地显示图像和视频。结果,可能希望对从移动计算设备传输的视频输出的朝向和/或纵横比的管理,特别是在移动计算设备能够产生朝向或纵横比不同于它配对的屏幕的朝向和纵横比的视频输出的情况下。
值得注意的是,计划用于在移动设备操作系统(例如,Apple等等)上执行的许多应用被编码为,以便应用的视频输出能够响应于基础设备的朝向的变化而旋转或切换。例如,如果移动设备从纵向朝向旋转到横向朝向旋转,则在在这样的设备上执行的移动操作系统的上下文内运行的应用可以被配置成相应地改变它们的需要的视频输出朝向。这种朝向变化可以在接收到从操作系统接收到的“屏幕朝向的变化”更新消息时断言。当然,应用不必被如此编码。实际上,某些应用可以被编码为,以便它们的视频输出保持为固定朝向,不管执行该应用的设备是否旋转。
考虑到前面的内容,此处所描述的移动计算设备可以与具有不同的首选朝向、缩放比例和/或纵横比的各种不同屏幕配对。结果,从移动计算设备传输的视频输出可以以与配对的屏幕的首选朝向和纵横比不一致的方式定向和/或缩放。例如,移动计算设备的显示输出可能具有第一朝向(例如,横向),而与移动计算设备配对的屏幕可能具有不同于第一朝向的第二朝向(例如,纵向)。这种朝向的差异可能会导致移动计算设备的视频输出笨拙地或不正确地显示在屏幕上。
移动计算设备的重新定向也可导致视频输出的朝向切换,因此,导致显示在配对的屏幕上的视频的朝向切换。这可能是有问题的,特别是在移动计算设备不保持静止的情况下。例如,如果移动计算设备被放在用户的口袋中,则其朝向(例如,如由移动计算设备内的一个或多个陀螺仪报告的)可能随着用户的移动重复地切换。随着设备的每一次重新定向,设备的显示输出的朝向都可能会变化。这种朝向的变化可能被平移到配对的屏幕。即,它可能会导致显示在配对的屏幕上的视频的朝向重复地变化,潜在地,导致烦人的用户体验。
在操作系统内执行的某些应用可能需要以特定方式定向的视频输出,不管应用在其上面执行的设备的朝向如何。例如,某些应用可能被编码为需要带有横向朝向的视频输出,不管执行应用的设备是以纵向定向还是以横向定向。结果,从移动计算设备传输到配对的屏幕的视频信息可以具有需要的朝向,即使该朝向不符合配对的屏幕的首选朝向。
最后,某些应用可能被设计为考虑了一种显示朝向,但是,可以被编码为,好像它们处于相反的朝向。在这些情况下,(例如,通过如下面所描述的反向信道)从配对的屏幕发送到移动设备的输入设备信息(例如,鼠标和/或触摸坐标)可能与被编码的朝向相反。例如,应用可能被设计为考虑横向朝向,但是,可以被编码为,好像它将以纵向朝向运行。在这样的情况下,从移动计算设备传输到屏幕的视频输出可以由屏幕以横向朝向显示。这可能会导致屏幕以与应用的设计的朝向不一致的方式将接收到的输入(例如,从与其耦合的输入设备)报告到移动计算设备。
例如,由移动计算设备执行的应用可能被设计为考虑横向朝向,但是,可以被编码为,好像它将以纵向朝向运行。在这样的情况下,移动计算设备的视频输出可以被抛掷到配对的屏幕,并以横向朝向显示。如下文所描述的,耦合到屏幕的输入设备可以被用来与在移动计算设备上执行的应用进行交互。此交互可以通过由屏幕向移动计算设备报告事件(例如,鼠标点击、滑动、触摸等等)(例如,通过反向信道)来促进。在此情况下,由于屏幕不了解应用的编码的朝向,它可能以符合编码的朝向方式报告对应于由输入设备所生成的事件(例如,点击、滑动,等等)的像素/位置坐标。在此情况下,屏幕可以报告符合可能与编码的纵向朝向相反的横向朝向的像素/位置坐标。
总而言之,与朝向相关的各种因素可能会影响在移动计算设备上执行的应用在配对的屏幕上的显示,和/或使用耦合到配对的屏幕的与那些应用的交互。本发明的一个方面涉及用于通过实现对从根据本发明的移动计算设备传输的视频输出的朝向的管理,解决这些问题中的一个或多个的系统和方法。
关于这一点,此处所描述的移动计算设备可包括存储在存储器内的朝向控制模块。朝向控制模块可包括朝向指令,所述朝向指令,当由移动计算设备的处理器执行时,实现对通过移动计算设备上的操作系统和/或应用的执行所产生的视频输出的朝向的管理和/或控制。对朝向的管理可以在移动计算设备上、配对的屏幕,或其组合上发生。
在某些实施例中,朝向指令,当被执行时,导致移动计算设备禁用可能从操作系统发送到在操作系统的上下文内执行的应用的“屏幕朝向的变化”通知。即,朝向指令,当被执行时,可能会导致操作系统向应用报告,移动计算设备处于固定朝向,甚至在移动计算设备的物理朝向可能会变化的情况下。通过禁止产生“屏幕朝向的变化”通知,在操作系统的上下文内执行的应用可能需要带有符合由操作系统报告的固定朝向的朝向的视频输出。结果,从移动计算设备抛掷到配对的屏幕的视频可以保持固定朝向。
替代地或另外地,朝向指令,当被执行时,可以通过通知屏幕如何定向其本身和/或以别的方式配置显示,以保持符合在移动计算设备上执行的应用的需求,实现对在配对的屏幕上产生的图像的朝向自动控制。关于这一点,现在参考图12,该图12描绘了根据本发明的示例性朝向控制方法。为了此方法的讨论起见,假设移动计算设备预先与兼容的屏幕配对,移动计算设备正在向屏幕抛掷其显示,显示关联到从操作系统的上下文内在移动计算设备上执行的应用的图形用户界面。
如图所示,图12的方法从框1201开始。在框1202,由处理器执行的朝向指令可以导致移动计算设备监视在其上执行的应用的相对于其显示输出的朝向和/或其他参数(分辨率、缩放比例等等)的预期。如可以理解的,相对于显示朝向和/或其他参数应用预期可以响应于从操作系统接收到的屏幕朝向通知的变化而变化。
然后,该方法可以前进到框1203,在那里,作出关于是否检测到相对于其显示输出的朝向和/或其他参数的应用预期变化的判断。如果没有检测到变化,则该方法可以循环返回到框1202,在那里,朝向指令,当被执行时,进一步导致移动计算设备监视应用预期的变化。然而,如果检测到预期的变化,则该方法可以转到框1206,在那里,朝向指令,当被执行时,可以导致移动计算设备将预期的变化传输到配对的屏幕。可以以任何合适的消息格式将预期的变化传输到屏幕。例如,可以以具有定义所涉及的预期的变化(例如,朝向、缩放比例、分辨率等等的变化)的标头以及标识新预期值的数据/正文部分的消息格式,来传输预期的变化。
考虑到这一点,配对的屏幕可包括在其上具有计算机可读朝向指令的朝向控制模块,所述指令,当由处理器执行时,导致屏幕调整抛掷的显示的参数,以符合在移动计算设备上执行的应用的预期。例如,响应于从移动计算设备接收到传达显示预期的变化的信号,朝向指令,当由屏幕的处理器执行时,可以导致屏幕改变抛掷的显示的特征,以便它们与在信号中传达的新预期一致。在某些实施例中,朝向指令,当被执行时,可以导致屏幕结束其中呈现/显示了抛掷的显示的现有的窗口,并根据修改的预期,打开一个新的呈现/显示抛掷的显示的窗口。朝向指令,当被执行时,可以可任选地导致屏幕向移动计算设备发送消息,并确认预期的变化和/或新窗口的产生。
返回到图12,一旦移动计算设备向配对的屏幕传输了包含预期变化信息的信号,方法就可以前进到可选框1207,在那里,移动计算设备可以监视是否从屏幕接收到确认。不管这样的监视是否正在执行,方法都方法可以前进到框1208,在那里,作出关于移动计算设备是否将继续监视相对于屏幕朝向及可能会影响抛掷的显示的外观的其他因素的应用预期变化的判断。如果监视将继续,则方法可以循环返回到框1202,并重复。如果否,则方法可以前进到框1209,并结束。
本发明的另一方面涉及用于有选择地将某些内容的解码从移动计算设备卸载到非整体显示器的技术。关于这一点,此处所描述的移动计算设备可以被用来执行一般计算任务,诸如,但不仅限于,web浏览,字处理等等。在web浏览的情况下,根据本发明的移动计算设备可以执行一种或多种web浏览器,诸如Google Chrome、Microsoft InternetExplorer、Apple Safari,等等。这样的web浏览器的用户界面可以被移动计算设备抛掷到非整体显示器。如本文在别处所讨论的,用户可以使用耦合到屏幕或移动计算设备的接口设备,来与在移动计算设备上执行的应用进行交互,在此情况下,web浏览器。如此,用户可以利用附接到屏幕的输入设备来输入web地址,该web地址可以导致移动计算设备访问与该地址相关联的网页,并将结果抛掷显示抛掷到屏幕。
考虑到前面的内容,在一些实施例中,此处所描述的移动计算设备可以被配置为将从广域网接收到的已编码的视频信息的解码(例如,流式视频)卸载到配对的非整体屏幕。关于这一点,移动计算设备可包括其中包括计算机可读卸载指令的卸载模块,所述卸载指令,当由处理器执行时,可以导致移动计算设备将从广域网接收到的已编码的视频信息路由到或以别的方式传输到配对的非整体屏幕。
可以由在移动计算设备上执行的web浏览器应用处理与已编码的视频相关联的信息(例如,出现在网站上的已编码的视频周围的信息)。然后,移动计算设备可以捕捉通过该处理所产生的结果帧缓冲器输出,并将它抛掷到配对的屏幕。
配对的屏幕可包括解码模块,其中包括计算机可读解码指令,所述解码指令,当被执行时,导致屏幕解码从移动计算设备接收到的已编码的视频数据(包括由该移动计算设备卸载的已编码的视频)。这可以降低移动计算设备上的处理负载,这又可以潜在地提高其电池续航时间。另外,解码指令,当由屏幕的处理器执行时,可以导致屏幕在显示器上再现接收到的卸载的视频周围的信息(例如,相关联的web信息),并在显示的信息内的合适的位置呈现/显示经解码的卸载的视频。如此,此处所描述的移动计算技术可以使移动计算设备能将经加密的视频数据解码操作卸载到远程屏幕,而潜在地提供相对于视频数据和围绕已编码的视频帧的相关联的信息(例如,web信息)(当它出现在网站上时)的无缝用户体验。
本发明的另一方面涉及用于执行由根据本发明的移动计算设备执行的应用并与其进行交互的技术。更具体而言,本发明的各方面涉及用于执行由缺乏整体屏幕的移动计算设备执行的应用和/或与其进行交互的系统和方法。如下文详细地描述的,当移动计算设备与兼容的屏幕配对以及不与其配对时,这些系统和方法可以使用户能发起在根据本发明的移动计算设备上执行的应用和/或与其进行交互。
作为示例,此处所描述的移动计算设备可以被配置成响应于利用移动计算设备作出的运动或手势,启用应用发起/交互。在这样的实施例中,移动计算设备可包括被配置成响应于移动计算设备的运动,产生可检测的输出的一个或多个传感器。这样的传感器的非限制性示例包括陀螺仪、加速度计、其组合,等等。这样的传感器可以产生表示利用移动计算设备作出的运动的一个或多个特征的输出。例如,这样的传感器可以产生表示移动计算设备的速度、加速度、倾斜、运动方向,或其组合的输出。
此处所描述的移动计算设备还可以包括逻辑,诸如处理器以及其中包括手势模块的存储器,该手势模块被配置成监视来自移动计算设备内的传感器的输出(数据),并将这样的数据与手势数据库进行比较,手势数据库将某些传感器数据与一个或多个手势相关联。手势数据库还可以进一步将一个或多个手势与一个或多个应用相关联,和/或与可以在特定的应用内采取的一个或多个动作相关联。因此,手势模块可以被理解为智能代理,该智能代理可以由移动计算设备的处理器执行,以观察传感器和/或输入设备数据,将这样的数据与相关联的动作相关联,并导致这样的动作由移动计算设备执行。
更具体而言,手势模块可包括计算机可读手势指令,所述指令,当由移动计算设备的处理器执行时,导致移动计算设备执行根据本发明的传感器数据监视操作,手势关联操作,以及应用执行/交互操作。具体而言,手势指令,当被执行时,可以导致移动计算设备监视传感器数据,将传感器数据与手势数据库中的手势相关联,并执行与相关联的手势相关联的一个或多个动作(例如,应用发起/交互)。
现在参考图13,该图13示出了根据本发明的包括手势指令的手势模块的操作的一个示例。如图所示,方法从框1301开始。在框1302,手势指令,当被执行时,可以导致移动计算设备监视由一个或多个传感器(诸如加速度计、陀螺仪,或其组合)所产生的传感器数据。然后,方法可以前进到框1303,在那里,手势指令,当被执行时,可以导致移动计算设备将被监视的传感器数据与手势数据库进行比较。在框1304,手势指令,当被执行时,可以导致移动计算设备判断被监视的传感器数据是否对应于手势数据库中所包括的一个或多个手势。
如果被监视的传感器数据不关联到手势数据库中的手势,则方法可以前进到框1305,在那里,手势指令,当被执行时,导致移动计算设备判断对传感器数据的监视是否将继续。在某些实施例中,此判断的此结果可以被断言用于接收到对应于手势的传感器数据,预定时间帧是否已经期满。在任何情况下,如果监视将不继续,则方法可以前进到框1308,并结束。然而,如果监视将继续,则方法可以返回到框1302,并重复。
如果被监视的传感器数据关联到手势数据库中的手势,则方法可以从框1304前进到框1306,在那里,手势指令可以导致移动计算设备执行与手势相关联的动作。动作的本质可以取决于各种上下文因素及其他参数,诸如,但不仅限于什么应用(如果有的话)当前在移动计算设备上正在执行,任何一个默认动作是否控制利用移动计算设备作出的手势的特征(例如,表示相对大的运动/手势的传感器数据可以与一种类型的动作相关联,而表示相对较小的运动的传感器数据可以与另一动作相关联),其组合,等等。类似地,手势数据库中的手势可以与应用的发起(如果应用不正在运行),以及应用内的特定的动作相关联(如果应用正在运行)。如此,例如,表示移动计算设备的向左运动的手势可以发起第一应用,如果该应用不正在运行。然而,如果第一应用正在运行,则移动计算设备的相同向左运动可以与应用内的特定的动作相关联,例如,音频控制、社交媒体更新等等。
返回到框1302,手势指令,当被执行时,还可以导致移动计算设备还监视通过耦合到移动计算设备的一个或多个输入设备作出的输入。例如,除监视传感器数据(例如,来自加速度计、陀螺仪等等)之外,手势指令,当被执行时,可以监视使用一个或多个按钮或耦合到移动计算设备的其他输入设备作出的输入。然后,可以由移动计算设备根据框1303,将这样的输入与被监视的传感器数据的组合与手势数据库进行比较。在这样的情况下,手势数据库可包括一个或多个输入,作为对相关联的动作的修改符,如此,增强可以与特定运动相关联的动作的数量。例如,手势数据库可以将移动计算设备的向左运动与第一动作相关联,例如,第一应用的执行或第一动作在第一应用内的执行,等等。手势数据库可以将相同向左运动和按钮按压(或从输入设备接收到的其他输入)的组合与第二动作相关联,例如,第二应用的执行,第二动作在第一应用内的执行,等等。
一旦执行了与手势(或手势和输入的组合)相关联的动作,方法就可以继续到框1307,在那里,手势指令,当被执行时,导致移动计算设备作出关于传感器/输入设备监视是否将继续的判断。如果监视将继续,则方法可以循环返回到框1302,并重复。但是,如果否,则方法可以前进到框1308,并结束。
如上文所描述的,本发明的移动计算设备可以使用户能发起移动计算设备上的应用和/或与它们进行交互,即使移动计算设备不包括整体的显示器。尽管图13和前面的描述专注于使用基于手势的协议来进行应用发起和/或交互,但是,手势的使用不是必需的。实际上,此处所描述的移动计算设备可以被配置为,以便应用发起和/或动作在应用内的执行可以与通过输入设备(例如,按钮、触摸板等等)作出的一个或多个输入和/或耦合到移动计算设备的非运动传感器(例如,麦克风、摄像机等等)相关联。这样的方法的本质以及操作可以类似于在图13中所描述的那些,只是手势数据库可以被替换为将特定的输入(例如,按钮按压、触摸板按压、声音信息,图像信息等等)与诸如应用发起和/或交互之类的一个或多个动作相关联的输入数据库和/或用其来增强。
作为根据图13的方法的非限制性使用情况,此处所描述的移动计算设备可包括被配置成执行操作系统(例如,IOS,等等),一个或多个社交媒体应用,以及一个或多个手势模块的处理器,其中每一个都可以存储在设备的存储器中。另外,移动计算设备还可包括一个或多个传感器(例如,陀螺仪、加速度计等等),以及使用一个或多个无线网络来进行近距或长程通信的无线通信接口。手势模块可以将传感器和/或输入设备与一个或多个手势相关联,并将这样的手势与一个或多个动作相关联。这样的动作可包括,例如,社交媒体应用的发起,社交媒体应用内的状态更新的自动执行。例如,表示移动计算设备的向左运动的传感器数据可以在手势数据库中关联到向左手势,该向左手势又可以与社交媒体应用的发起相关联。同样,表示移动计算设备的向右运动的传感器数据可以在手势数据库中关联到向右手势,该向右手势又可以与自动状态更新从社交媒体应用内的执行相关联。
在操作中,移动计算设备的用户可以通过利用移动计算设备作出向左运动,可任选地,结合按下一个或多个按钮和/或来自另一种输入设备和/或非运动传感器的输入,来发起社交媒体应用的执行。在这样的情况下,手势模块内的手势指令可以导致移动计算设备检测与向左运动相关联的传感器数据,并将这样的数据与手势数据库中的向左手势相关联。手势指令,当被执行时,还可以进一步导致移动计算设备执行与向左手势相关联的动作,在此情况下,社交媒体应用的执行。
然后,用户可以通过利用移动计算设备作出向右运动,可任选地,结合按钮按压(或其他输入设备元件),导致移动计算设备自动地更新社交媒体应用内的他/她的状态。手势指令,当被执行时,可以导致移动计算设备检测与向右运动相关联的传感器数据,并将这样的数据与手势数据库中的向右手势相关联。另外,手势指令,当被执行时,可以导致移动计算设备执行与手势数据库中的向右手势相关联的动作,在此情况下,用户的状态在社交媒体应用内的自动更新。
在另一种非限制性使用情况下,手势模块可以将传感器和/或输入设备输入与可以被输出到配对的屏幕的字母数字字符相关联。这会实现有趣的现象,移动计算设备的用户可以在空中“写字”,例如,当手握移动计算设备或与其耦合的输入设备时,移动计算设备可以将用户的写字运动转换为字母数字字符,供显示在配对的屏幕。
在某些实施例中,此处所描述的移动计算设备可以被配置成例如响应于用户输入(例如,手势、按钮按压、声音命令等等),和/或在预先确定的时间帧期满之后,进入安全模式。在安全模式下,可以阻止对移动计算设备内的资源的访问,直到验证了潜在用户的身份。对用户身份的验证可以使用任何合适的认证协议来执行,诸如密码认证协议、生物特征认证协议(在移动计算设备配备有合适的传感器并可以访问合适的生物特征模板的情况下),其组合,等等。
可替代地,或除密码和/或生物特征认证之外,移动计算设备可以被配置成执行基于手势的认证协议来验证用户的身份。一般而言,基于手势的协议监视传感器数据(单独地或与输入设备数据相结合),并将该数据与安全性数据库进行比较,该安全性数据库将某些传感器输入与移动计算设备的经认证的用户相关联。例如,安全性数据库可以将第一运动(可任选地,与一个或多个按钮按压或来自输入设备的另一种输入相结合)与第一经认证的用户相关联,将第二运动(可任选地,与一个或多个按钮按压或来自输入设备的另一种输入相结合)与第二经认证的用户相关联,以此类推。如果由移动计算设备检测到的传感器和/或输入设备数据与经认证的用户相互关联,则移动计算设备可以进入解锁的状态,其中准许用户对设备内的资源的访问。然而,如果检测到的传感器和/或输入设备数据不与经认证的用户相互关联,则对移动计算设备内的资源的访问可能会被拒绝。
基于手势的认证协议的执行可以通过上文所讨论的手势模块,或存储在移动计算设备的存储器中的另一种模块来促进。例如,手势指令,当被执行时,可以在移动计算设备处于安全状态时导致移动计算设备执行根据本发明的基于手势的认证操作。
现在参考图14,该图描绘了基于手势的认证操作的一个示例,这些操作可以在移动计算设备处于安全状态时由手势指令的执行而被执行或引起。如图所示,方法从框1401开始。在框1402,手势指令,当被执行时,可以导致移动计算设备监视传感器数据(与移动计算设备的运动相关联的或以别的方式),以及可任选地监视由一个或多个输入设备(例如,按钮)响应于用户输入所产生的数据。
然后,该方法可以前进到框1403,在那里,手势指令,当被执行时,可以导致移动计算设备将检测到的传感器和/或输入设备数据与存储在移动计算设备的存储器中的安全性数据库进行比较。如前面所指出的,安全性数据库可以将传感器和/或输入设备数据与移动计算设备的一个或多个经认证的用户相关联。在某些实施例中,安全性数据库可以是独立于移动计算设备上的其他数据库维护的独立数据库。例如,安全性数据库可以存储在移动计算设备内的受保护的环境内的存储器中。
术语“受保护的环境”此处用来指移动计算设备和/或非整体屏幕内的执行环境,且包括存储器以及被隔离或通过硬件、固件、软件或其组合,以别的方式受到保护而免受认证设备的其他组件的干扰的处理资源。
存储器飞地技术是可以用于本发明的移动计算设备以及非整体屏幕中的受保护的环境的一个示例。一般而言,存储器飞地可以由具有与由计算系统(在此情况下,认证设备)的传统的环形边界施加的访问策略不同的访问策略的至少一个存储器页面构成。存储器飞地内的存储器页面可以具有相关联的读/写控制,这些读/写控制可以被配置为,使得读/写控制相对于某些操作模式或特权“环”(诸如相关联的处理器的系统管理模式或虚拟机监视器)具有排他性。因此,在认证设备的安全飞地内存储的信息以及执行的操作可以被与移动计算设备和/或非整体屏幕的其他信息、操作,以及组件隔离。在本发明的某些实施例中,移动计算设备包括一个或多个存储器飞地,这些飞地被配置成临时存储一个或多个经加密的或未加密的安全性数据库。
可以用于本发明的移动计算设备和/或非整体屏幕中的受保护的环境的另一示例是受信任的执行环境(TEE)。一般而言,TEE是可以与操作系统一起运行并可以向该操作系统提供安全服务的安全环境。关于TEE以及其实现的更多信息可以在由GlobalPlatform颁布的TEE客户端应用编程接口(API)规范v1.0、TEE内部API(应用编程接口)规范v1.0,以及TEE系统架构v1.0中发现。在某些实施例中,此处所描述的移动计算设备和/或非整体屏幕包括使用虚拟化技术、uCode增强的存储器页面保护、CPU缓存中的一种或多种来作为存储器页面保护以及安全性协处理器技术,来提供的TEE。这样的技术的非限制性示例包括VT-x虚拟化技术、VT-d虚拟化技术、受信任的执行技术(TXT)、Xeon因特网安全性以及加速度(ISA)“作为RAM的缓存”、会聚的安全性引擎(CSE)技术、会聚的安全性和可管理性引擎(CSME)技术、安全性协处理器、可管理性引擎、可信平台模块、平台信任技术、ARM技术、其组合,等等。这些技术中的每一种的本质、优点以及局限性被很好地理解,因此,此处未描述。
在某些实施例中,安全性数据库可以与上文所指出的手势数据库形成整体。在后一情况下,基于手势的安全性操作与通过手势指令的其他操作的执行可以取决于相关上下文因素的存在,诸如移动计算设备是否处于安全模式。
在任何情况下,方法都可以前进到框1404,在那里,手势指令,当被执行时,导致移动计算设备判断检测到的传感器和/或输入设备数据是否关联到安全性数据库中的经认证的用户。如果在那里检测到的数据不匹配经认证的用户,则方法可以前进到框1405,其中手势指令,在被执行时,可以导致移动计算设备判断它是否应该继续监视传感器和/或输入设备数据。如果监视将继续,则方法可以循环返回到框1402,并重复。如果监视将停止,则方法可以前进到框1407,并结束。在某些实施例中,根据框1405作出的判断可以取决于预定的时间段是否已经期满。
返回到框1404,如果检测到的传感器和/或输入设备数据匹配经认证的用户,则方法可以前进到框1406,其中手势指令,当被执行时,可以导致移动计算设备进入解锁状态,此时,可以授予对移动计算设备内的资源的访问。然后,方法可以前进到框1407,并结束。
本发明的另一方面涉及用于促进用户与在移动计算设备上执行的应用的交互的技术,其中,应用的视频输出被移动计算设备抛掷到非整体屏幕,供显示。如下文所描述的,这样的技术包括能实现与由移动计算设备所产生的用户界面元素(例如,数字指针)的交互的系统和方法,利用耦合到移动计算设备的输入设备,利用耦合到与移动计算设备配对的屏幕的输入设备,以及其组合。
在某些实施例中,本发明的移动计算设备可以被配置成导致数字指针(例如,光标)在本地或远程配对的屏幕的产生。移动计算设备还可以进一步被配置成以任何合适的方式实现对数字指针的控制。例如,数字指针的运动以及利用数字指针的事件(例如,点击、拖动、滑动等等)的执行可以响应于利用移动计算设备作出的运动而执行。总而言之,移动计算设备可以被配置成执行移动和/或基于手势的协议来实现对数字指针的控制,以便实现和/或促进用户与在移动计算设备上执行的并且显示在非整体屏幕上的应用的交互。
关于这一点,此处所描述的移动计算设备可包括存储在其存储器中的输入设备模块。输入设备模块可包括输入设备指令,所述输入设备指令,当由移动计算设备执行时,导致移动计算设备在非整体屏幕上产生诸如鼠标光标之类的数字指针。例如,输入设备模块,当被执行时,可以导致移动计算设备将数字指针插入到操作系统或由移动计算设备执行的其他应用的视频输出中。结果,数字指针的显示可以被随与操作系统和/或应用相关联的显示一起抛掷到非整体屏幕。
在某些实施例中,输入设备指令,当被执行时,可以导致数字指针被插入到在移动计算设备上执行的应用和/或OS的帧缓冲器中。结果,数字指针可以与帧缓冲器一起被捕捉,例如,当移动计算设备执行framethrower和/或streamthrower协议以将与应用和/或操作系统相关联的显示抛掷到非整体屏幕。由于移动计算设备(或在其上执行的OS和/或应用)可能了解数字指针的位置,因此,此控制方法可以特别适用于当移动计算设备与具有很少或没有将输入设备报告(下面所描述的)提供回移动计算设备(例如,通过建立的反向信道)的能力的无声屏幕配对时。
输入设备指令当被执行时还可以进一步导致移动计算设备监视传感器数据和/或利用耦合到移动计算设备的一个或多个输入设备(例如,按钮)作出的输入,以更新数字指针的位置和/或执行某一动作。例如,输入设备指令可以导致移动计算设备监视与移动计算设备的运动相关联的传感器(加速度计、陀螺仪等等)或利用耦合的到移动计算设备的输入设备作出的输入。输入设备指令还可以进一步导致移动计算设备将这样的数据与和数字指针的运动相关的因素相关联,诸如,但不仅限于,加速度、速度以及倾斜。输入设备指令还可以进一步导致移动计算设备将这样的因素转换为二维屏幕表面坐标(例如,水平和/或垂直像素坐标),这些坐标可以由被抛掷的显示的尺寸和/或分辨率限制或以别的方式定义。输入设备指令还可以导致移动计算设备响应于检测到的传感器和/或输入设备数据的变化,更新二维屏幕坐标,并相应地移动数字指针。
输入设备指令还可以导致移动计算设备将某些运动和/或输入(通过对应的数据来表示)与一个或多个输入设备动作相关联,诸如左/右点击、双左/右击,拖动、滑动,其组合,等等。如此,输入设备指令可以将运动和/或利用移动计算设备作出的输入转换为模仿计算机鼠标的传统的操作的动作,潜在地导致熟悉的用户体验。
现在参考图15,该图描绘了在根据本发明的输入设备模块内可以由输入设备指令执行或由输入设备指令的执行所引起的示例性操作。如图所示,方法从框1501开始。在框1502,输入设备指令当由移动计算设备执行时可导致移动计算设备监视耦合到移动计算设备的传感器和/或输入设备(例如,按钮、触摸板等等)是否有可以与关于数字指针的运动因素的相关联的数据,如上文所讨论的。在框1503,输入设备指令可以导致移动计算设备将数据转换为数字指针事件,位置(例如,二维显示器上的坐标)、左、右、上、下,和/或对角线运动,以及各种类型的点击、拖动、滑动等等。在框1504,输入设备指令,当被执行时,可以导致移动计算设备将数字指针事件报告给在移动计算设备上执行的应用/OS。这可以导致应用/OS将数字指针的图像插入到其帧缓冲器输出内,以便它出现在被抛掷的显示中的合适的位置。
根据框1505,输入设备指令,当被执行时,可以导致应用/OS执行根据框1504报告的数字指针事件的结果。关于这一点,应用/OS可以被配置成执行由输入设备指令报告的数字指针事件的结果,以便在应用和/或OS内实行对应的动作。
作为示例,输入设备指令可以将关联到数字指针的运动的输入设备事件报告给OS/应用。这样的报告可以被配置成导致应用/OS将数字指针插入到其帧缓冲器中的合适的位置,以便数字指针看起来好像在被抛掷的显示中以正确的方式移动。如果输入设备指令将诸如双击之类的输入设备事件的发生报告给应用/OS,则这样的报告可以被配置成导致应用/OS根据该事件,并考虑到数字指针的上下文位置,来执行操作。例如,当数字指针位于操作系统的链接到应用的图标快捷方式的上方并且输入设备指令向OS报告了双击事件时,OS可以对图标快捷方式执行双击操作。这可以导致由移动计算设备对链接到快捷方式的应用的执行。
然后,方法可以前进到框1506,在那里,输入设备指令,当被执行时,可以导致移动计算设备作出关于对传感器/输入设备数据的监视是否继续的判断。如果监视继续,则方法可以循环返回到框1502,并重复。如果监视将停止,则方法可以前进到框1507,并结束。
此处所描述的移动计算设备还可以被配置成允许用户通过一个或多个输入设备与操作系统和/或应用的交互,输入设备以有线或以无线方式耦合到移动计算设备。此概念在图16A中示出,在该图中,输入设备1601耦合到移动计算设备101,该移动计算设备101正在向非整体屏幕103抛掷其显示。作为合适的输入设备的非限制性示例,提及了无线和有线计算机鼠标、键盘、跟踪板、触摸屏、轨迹球,其组合,等等。无限制地,输入设备,优选地,使用诸如近场通信、WiFi、射频通信、红外通信,或其组合之类的无线通信协议,以无线方式耦合到移动计算设备。这样的通信模式和协议在现有技术中已知,如此,此处不再详细描述。
使用输入设备与应用/OS的交互可以以与如上文参考图15所描述的几乎相同的方式发生,只是可以不要求被监视的传感器数据的转换。例如,此处所描述的移动计算设备可包括其中包括输入设备指令的输入设备模块,所述输入设备指令,当由处理器执行时,导致移动计算设备执行根据本发明的输入设备操作。关于这一点,参考图16B,该图16B示出了使用根据本发明的耦合到移动计算设备的输入设备,与OS/应用进行交互的示例性方法。
如图所示,方法从框1602开始。在框1603,输入设备指令,当被执行时,可以导致移动计算设备监视从耦合到移动计算设备的输入设备接收到的输入设备事件。例如,指令,当被执行时,可以导致移动计算设备监视从图16A中的输入设备1601接收到的输入设备元素。输入设备事件包括,但不仅限于,输入设备的运动、左/右点击、左/右双击、触摸、滑动、拖动,其组合,等等。
然后,方法可以转到框1604,在那里,输入设备指令可以导致移动计算设备将检测到的输入设备事件报告给OS和/或执行的应用。例如,输入设备指令可以导致与输入设备事件相关的信息对OS和/或带有对这样的信息的访问权的应用可用。在某些实施例中,输入设备指令可以导致移动计算设备将检测到的事件转换为可与数字指针的运动和/或操作相关的因素,诸如光标位置(例如,关联到二维屏幕的像素坐标)、运动(即,像素坐标的变化),以及诸如点击、拖动等等之类的交互事件。然后,可以将从输入设备事件中获取的因素报告给OS/应用,OS/应用可以使用这样的因素来将数字指针插入到相关帧缓冲器中。
然后,方法可以前进到框1605,在那里,输入设备指令可以导致移动计算设备执行输入设备事件的结果。例如,如果输入设备事件表示耦合的输入设备的运动,则输入设备指令可以导致OS/应用将数字指针插入到合适的位置,并更新其位置,使得它以根据耦合的输入设备的移动的方式移动。类似地,如果输入设备指令向应用/OS报告诸如双击之类的输入设备事件的发生,则这样的报告可以被配置成导致应用/OS根据该双击事件,并考虑到数字指针的上下文位置,来执行操作。例如,当数字指针位于操作系统的链接到应用的图标快捷方式的上方并且输入设备指令向OS报告了双击事件时,OS可以对图标快捷方式执行双击操作。
在框1606,输入设备指令,当被执行时,可以导致移动计算设备作出关于监视来自耦合的输入设备的输入设备事件是否将继续的判断。如果监视继续,则方法可以循环返回到框1603,并重复。然而,如果监视将不继续,则方法可以前进到框1607,并结束。
本发明的另一方面涉及用于允许使用耦合到与移动计算设备配对的非整体屏幕的一个或多个输入设备,来与在移动计算设备上执行的操作系统和/或应用的交互的技术。正如下面详细地描述的,非整体(例如,智能/无声)屏幕可以被配置成监视由以有线或无线方式耦合到屏幕的输入设备所生成的输入设备事件。在可任选地调整检测到的事件以补偿屏幕的大小和分辨率以及在移动计算设备上执行的OS/应用的预期之间的差异(例如,由被抛掷的显示的大小/分辨率反映的)之后,屏幕可以将检测到的输入设备事件报告给移动计算设备。如上文所描述的,输入设备事件的传递可以通过在非整体屏幕和移动计算设备之间建立的反向信道来进行。移动计算设备可以被配置成接收这样的报告(例如,通过反向信道),并使在其中包含的信息对在其上执行的OS/应用可用。OS/应用可以使用这样的信息来执行关联到检测到的事件的一个或多个操作。
作为此概念的非限制性说明,现在参考图17A,在该图中,移动计算设备101被示为与非整体屏幕103配对。屏幕103和移动计算设备101可以以任何合适的方式配对,包括前面所描述的配对协议中的任何一种。在此情况下,移动计算设备101和屏幕103被示为被配对,以便它们之间的通信是双向的。例如,移动计算设备101可以通过前向信道(例如,套接字)将视频信息传输到屏幕103。如上文所描述的,屏幕103可以接收视频信息,并将它呈现/显示在其显示器上。同样,屏幕103可以通过在配对过程中建立的反向信道,将信息传输到移动计算设备101。
如在图17A中进一步示出的,屏幕101可以以有线或无线方式耦合到输入设备1701。输入设备1701可以是任何合适的输入设备,诸如上文所描述的那些。为了说明起见并便于讨论,输入设备1701在图17A中被示为计算机鼠标。
为使用户能够利用输入设备1701与OS和/或应用进行交互,屏幕103可被配置成智能或无声屏幕,该屏幕包括在其上存储了输入设备模块的存储器,以及足够的处理能力(以一般或专用处理器的形式)以执行输入设备模块中的计算机可读输入指令。另外,屏幕103还可以具有有线/无线通信能力,这些能力使它能通过在它和移动计算设备101之间建立的通信信道(前向和反向信道)来发送和接收数据信号。输入设备指令,当由处理器执行时,可以导致屏幕103执行根据本发明的输入设备监视和报告操作。在某些实施例中,输入设备模块可包括计算机可读代码或采取计算机可读代码的形式,该代码可以是JAVA或另一种计算机编程语言。虽然本发明预想屏幕被预先提供了合适的输入设备模块的各实施例,但是,这样的预先提供不是必需的。实际上,在某些实施例中,可将输入设备模块从移动计算设备传输到屏幕。例如,输入设备模块可以在它们被配对过程中或在配对之后从移动计算设备传输到屏幕。
现在参考图17B,该图描绘了利用非整体屏幕来检测和报告输入设备事件的示例性方法。这样的方法可以被视为可以由配对到移动计算设备的非整体屏幕的处理器执行或由输入设备指令的执行所引起的操作的示例性。
如图所示,方法从框1702开始。在框1703,输入设备指令,当由屏幕的处理器执行时,可以导致屏幕监视由与其耦合的一个或多个输入设备所生成的输入设备事件。输入设备事件的类型和特征可以取决于耦合到屏幕的输入设备的类型。例如,在耦合到屏幕的输入设备包括计算机鼠标的情况下,这样的输入设备事件可包括由鼠标的运动、左/右点击、双击、滑动、拖动,其组合等等所生成的事件。另选地或另外地,如果屏幕包括触摸屏,则输入设备事件可以关联到单一或多触摸、滑动、拖动,其组合,等等。同样,如果输入设备是键盘,则输入设备事件可以关联到一个或多个击键。
由屏幕监视输入设备事件可以进行一次,以任何合适的时间间隔,或连续地进行。例如,输入设备指令,当被执行时,可以导致屏幕以预定的时间间隔,诸如,大约每隔5秒一次,大约每隔2.5秒一次,大约每隔1秒一次,大约每隔0.5秒一次,大约每隔0.1秒一次,等等,监视设备输入事件。当然,时间间隔可以长一些或短一些,取决于屏幕的能力和连续的或定期更新的必要性。
对输入设备事件的监视可包括确定事件在屏幕上的位置。在耦合到屏幕的输入设备例如是鼠标情况下,输入设备指令可以导致屏幕在发生事件时确定数字指针在屏幕的显示器上的像素坐标。如果事件是例如鼠标点击,则输入设备指令可以导致屏幕当检测到鼠标点击时确定数字指针在屏幕的显示器上的像素坐标。对于比较复杂的事件,诸如点击及拖动操作点击保持以及释放操作、其组合等等,可以确定像素坐标的范围。例如,输入设备指令,当被执行时,可以导致屏幕监视对应于事件的发起(例如,初始点击以及保持)的数字指针在屏幕的显示器上的像素坐标以及在事件结束时(例如,释放)数字指针的像素坐标。
类似地,在耦合到屏幕的输入设备是触摸屏的情况下,输入设备指令,当被执行时,可以导致屏幕确定在触摸屏上进行的一个或多个触摸的像素坐标。例如,输入设备指令可以导致屏幕确定关联到触摸事件的屏幕的显示器上的像素坐标。对于相对简单的触摸事件(诸如单一触摸),输入指令可以导致屏幕确定屏幕的显示器上的单一触摸的像素坐标。对于相对复杂的触摸事件(例如,多触摸、滑动、夹紧、拖动,等等),输入设备指令可以导致屏幕确定对应于该事件的像素坐标的系列。例如,在滑动的情况下,输入设备指令可以导致屏幕确定滑动操作的开始和结束处的像素坐标,以及可任选地滑动操作的开始和结束之间的像素坐标。
在任何情况下,方法可以前进到可选框1704,在那里,输入设备指令,当被执行时,可以导致屏幕调整与输入设备事件相关联的像素坐标,以补偿屏幕的显示器的大小和/或分辨率和被从移动计算设备抛掷到屏幕的显示的大小和/或分辨率的差异。换言之,输入设备指令可以导致屏幕应用标量或其他数学设备,以调整确定的像素坐标,以便它们与从移动计算设备抛掷的显示的原始分辨率一致。
作为示例,移动计算设备可以将具有640像素x 480像素分辨率的显示抛掷到屏幕。屏幕可包括双倍于被抛掷的显示的分辨率(即,1280像素x 960像素)的显示器。在某些实施例中,被抛掷的显示可以被屏幕放大,以填充其显示器的整个区域。然后,如上文所描述的,屏幕可以监视输入设备事件,并记录与那些事件相关联的像素坐标。然而,由于屏幕的分辨率是被抛掷的显示的原始分辨率的分辨率,因此,确定的像素坐标可以是被抛掷的显示的对应的像素坐标的值的两倍。为补偿此,屏幕可以将确定的像素坐标除以2,以便它们被缩小到被抛掷的显示的原始分辨率。
一旦调整确定的像素坐标,或如果未作出调整,方法可以前进到框1705。根据此框,输入设备指令,当被执行时,可以导致屏幕通过反向信道将包含输入设备信息的数据信号传输到移动计算设备。一般而言,数据信号被配置成将输入设备事件以及相关联的信息报告给移动计算设备。移动计算设备可以被配置成接收这样的信号,并将包含在其中的信息提供到在移动计算设备上执行的OS和/或应用。
在某些实施例中,输入设备指令,当被执行时,可以导致屏幕分组化与检测到的输入设备事件相关的信息,并在通过反向信道发送的数据信号将那些分组传输到移动计算设备。分组可包括与由屏幕检测到的输入设备事件相关的信息。例如,数据信号中所包括的分组可包括标识信号的源(即,屏幕)的标头。分组还可以包括命令标识符。命令标识符可包括输入设备的类型的身份(例如,鼠标、触摸屏、键盘等等)、检测到的输入设备事件的特征(例如,点击、触摸、滑动、击键等等),其他相关信息,或其组合。分组还可以包括有效负载部分,取决于正在被报告的输入设备的特征和类型,有效负载部分的内容可能有差异。
在检测到的输入设备事件是由耦合到屏幕的鼠标或触摸屏产生的情况下,分组的有效负载部分可包括与由屏幕产生的光标的开始、结束,或其他像素坐标(潜在地,根据框1704调整的)相关的信息。在输入设备事件是来自耦合到屏幕的键盘的击键的情况下,分组的有效负载部分可包括被按下的键的身份。
如前面所指出的,此处所描述的移动计算设备可以被配置成从屏幕接收数据信号,诸如上文所描述的那些。在这样的情况下,移动计算设备可包括具有输入设备模块指令的输入设备模块,所述指令,当由移动计算设备的处理器执行时,导致移动计算设备解码包含在接收到的数据信号中的分组。更具体而言,输入设备指令,当由移动计算设备执行时,可以导致移动计算设备分析接收到的数据信号中的分组,以确定输入设备事件的类型和事件的位置(例如,事件的像素坐标,潜在地,如由屏幕归一化到被抛掷的显示的原始分辨率)。
然后,如上文所描述的,可以将获得的信息提供到在移动计算设备上执行的OS和/或应用。OS和/或应用可以将以此方式提供的输入设备信息当作正常的输入设备数据,即,可以传统上从耦合到移动计算设备的输入设备中获取的数据。即,在移动计算设备上执行的OS和/或应用可以应用由屏幕所提供的输入设备事件信息,以导致关联到检测到的输入设备事件的结果。
返回到图17B,一旦屏幕将包含输入设备事件的数据信号传输到移动计算设备,该方法就可以前进到框1706。根据此框,输入设备指令,当被屏幕的处理器执行时,可以导致屏幕作出关于对输入设备事件的监视是否将继续的判断。如果这样的监视将继续,则方法可以循环返回到框1703,并重复。然而,如果这样的监视将不重复,则方法可以前进到框1707,并结束。
如从前述的内容可以理解,与屏幕形成整体的和/或耦合到屏幕的输入设备可以被用来与在与屏幕配对的移动计算设备上执行的资源进行交互和/或对其进行控制。在某些实施例中,与屏幕配对的输入设备可以被用来输入命令、文本输入,并执行输入设备操作。如上文所描述的,这样的命令、输入以及操作可以由屏幕通过建立的反向信道,传输到移动计算设备。在接收到时,移动计算设备可以被配置成执行这样的命令、输入以及操作的结果。可以利用此能力来实现多种有趣的使用情况,其中,用户可以通过与移动计算设备配对的非整体屏幕,控制和/或访问移动计算设备上的资源。
作为一种示例性使用情况,移动计算设备可包括在其上具有照片共享应用的存储器。照片共享应用可以访问存储在移动计算设备上的照片,以及可任选地,其他媒体,或以别的方式可以被移动计算设备访问(例如,存储在云/因特网存储器中)。照片共享应用可包括指令,所述指令,当被移动计算设备的处理器执行时,导致移动计算设备向帧缓冲器输出对应于应用的图形用户界面的视频。移动计算设备可以被配置为(如前所述)捕捉帧缓冲器,并将它传输到非整体屏幕,例如,通过有线或无线连接。这可以导致图形用户界面显示在非整体屏幕上。然后,耦合到屏幕的输入设备可以用于与图形用户界面进行交互。这些交互可以由屏幕记录为输入设备事件,并通过反向信道,报告给移动计算设备。移动计算设备可以使这样的事件对照片共享应用可用,该照片共享应用可以应用它们,以执行合适的动作。如此,非整体屏幕的用户可以使用耦合到屏幕的输入设备来控制和/或访问照片共享应用。
如前面所说明的,此处所描述的移动计算设备可以被配置成与非整体屏幕配对,并通过在配对过程期间与屏幕建立的数据通道,将视频信息传输到配对的屏幕。为了清楚起见并便于理解,在假设移动计算设备将与单一非整体屏幕配对的条件下,描述此概念。尽管这样的实施例有用,但是,本发明的技术可以使单一移动计算设备能同时与多个非整体屏幕配对。与每一个屏幕的配对可以使用上面所提及的配对协议中的任何一种来进行,根据需要修改,以准许移动计算设备接受来自不同的非整体屏幕的多个连接。如此,移动计算设备可以并行地与第一屏幕、第二屏幕以及第三屏幕配对,并将其视频信息抛掷到那些屏幕,供显示。
这样的屏幕的特征以及能力可以相同或不同。例如,第一屏幕可以是电视(例如,无声屏幕),第二屏幕可以是移动通信设备(例如,智能电话显示器、蜂窝电话显示器等等),第三屏幕可以是台式计算机监视器。可另选地,第一、第二以及第三屏幕可以相同。例如,第一、第二以及第三屏幕中每一个都可以是台式计算机显示器。当然,并行地配对的屏幕的数量不限于三个,可以是任何合适的数量。同样,可以与移动计算设备并行地配对的屏幕的类型和特征也不受限制。实际上,移动计算设备可以被配置成与任何合适类型的非整体屏幕(诸如前面所描述的那些)配对。
在其中多个屏幕与移动计算设备并行地配对的各实施例中,移动计算设备可以可任选地被配置成将对其资源的控制分配到配对的屏幕中的一个或多个。参考图18A,移动计算设备101可以与三个屏幕,屏幕1031、1032,以及103n,配对。在某些实施例中,屏幕1031、1032,103n中的每一个都能够访问或以别的方式控制移动计算设备上的资源,例如,使用一个或多个输入设备。替代地或另外地,移动计算设备101可以将对其资源的控制和/或对其资源的访问限制到屏幕1031,1032,103n的子集(例如,1或多个)。例如,移动计算设备101可以允许屏幕1031控制并访问其资源,但是,可以拒绝屏幕1032,103n的这样的访问和/或控制。
关于这一点,移动计算设备可包括在其上存储了访问控制模块的存储器,其中,访问控制模块包括访问指令,所述访问指令,当被执行时,导致移动计算设备执行根据本发明的访问管理操作。根据前述的讨论,访问管理操作可包括将对移动计算设备内的资源的访问和/或控制分配和/或限制到一个或多个配对的屏幕。例如,访问指令,当被执行时,可以导致移动计算设备将访问令牌传输到或以别的方式分配到它与其配对的非整体屏幕中的全部、某些或不输到或以别的方式分配到它与其配对的非整体屏幕。在某些实施例中,令牌向配对的屏幕的分配可以响应于通过移动计算设备作出的手势或其他输入来发起。例如,移动计算设备可以被配置为,以便用户可以通过朝着屏幕作出手势,向特定配对的屏幕分配访问令牌。
访问令牌可以被配置成指定被给予配对的屏幕的访问的程度。例如,令牌可以被配置成将屏幕的访问限制到移动计算设备的某些系统资源(例如,系统关键资源、OS设置等等),而同时提供对与特定应用(例如,上文所提及的照片共享应用)相关联的资源的无限制的访问。访问令牌的特征和配置可以在各屏幕之间不同,如此,使移动计算设备能分别地控制并行地配对的屏幕可以访问和/或控制其资源的程度。
现在参考图18B,该图示出了将移动计算设备与多个非整体屏幕配对以及利用一个或多个控制令牌来管理对移动计算设备上的资源的访问和/或对资源的控制的非限制性方法。如图所示,方法从框1801开始。在框1802,可以将移动计算设备置于广播配对模式。在此模式下,移动计算设备可以可用于与多个非整体屏幕配对。然后,方法可以前进到框1803,在那里,移动计算设备与多个非整体屏幕配对。移动计算设备与每一个屏幕的配对可以使用任何合适的配对方法来执行,包括上文参考图5A-7B所描述的配对方法。如此,为了简洁起见,不再重复将每一个屏幕与移动计算设备配对的过程的详细描述。
一旦移动计算设备与多个非整体屏幕配对,方法就可以前进到框1804,在那里,移动计算设备可以将其显示传输到或“抛掷”到配对的屏幕。从移动计算设备将视频传输到每一个屏幕可以使用任何合适的方法来进行,包括前面参考将显示从移动计算设备传输到单一屏幕所描述的方法。如此,为了简洁起见,不再详细描述移动计算设备根据框1804将显示传输到每一个屏幕的方式。
然后,方法可以前进到框1805,在那里,移动计算设备可以将控制令牌传输到配对的屏幕中的全部、某些,或不传输到配对的屏幕。如前面所指出的,控制令牌可以被配置成限制或以别的方式指定配对的屏幕对移动计算设备内的资源具有的访问和/或控制的程度。例如,移动计算设备可以将控制令牌传输到第一配对的屏幕,但是,可以不将控制令牌传输到第二配对的屏幕。在这样的情况下,第一配对的屏幕可以在由控制令牌所指定的范围内访问和/或控制移动计算设备中的资源。由于第二配对的屏幕缺乏控制令牌,因此,可以拒绝它对移动计算设备上资源的访问和/或对资源的控制。如可以理解的,这可以使第一配对的屏幕的用户能控制移动计算设备上的应用及其他资源,因此,控制从移动计算设备抛掷到第二(以及第一)屏幕的视频的内容。
一旦移动计算设备传输了一个或多个控制令牌,方法就可以前进到框1806,在那里,移动计算设备监视是否从具有控制令牌的配对的屏幕接收到输入/控制信号。在某些实施例中,输入/控制信号可以呈现包含来自配对的屏幕的输入设备事件报告的数据信号的形式,诸如上文所描述的。当然,输入/控制信号不必关联到包含输入设备事件报告的数据信号,并可以以任何合适的方式配置。例如,输入/控制信号可包括规定指定的操作在移动计算设备上的执行的一个或多个命令。
然后,方法可以前进到框1807,在那里,移动计算设备可以在在移动计算设备上执行的合适的应用和/或OS内执行输入/控制信号的结果。例如,如果输入/控制信号规定打开应用,则移动计算设备可以打开应用,假设发出输入/控制信号的屏幕已经被授予了足够的对移动计算设备上的相关资源的访问/控制。
在框1808,移动计算设备可以被配置成作出关于监视来自一个或多个配对的屏幕的输入/控制信号是否将继续的判断。如果这样的监视将继续,则方法可以前进到框1809,在那里,作出关于移动计算设备是否相对于一个或多个配对的屏幕,将转移或改变对其资源的控制的判断。如果否,则方法可以前进到框1806,并重复。然而,如果控制的转移/修改将发生,则方法可以回到框1805,在那里,可以撤销以前的控制令牌,一个或多个(潜在地,已更新的)控制令牌可以转移到配对的屏幕中的全部、某些,或不转移到配对的屏幕。返回到框1808,如果监视输入/控制信号将不再继续,则方法可以转到框1810,并结束。
前面的描述基本上专注于其中移动计算设备可以以无线方式与一个或多个非整体屏幕配对,并将其视频输出传输(“抛掷”)到配对的屏幕供显示的技术。考虑到这一点,本发明的另一方面涉及这样的技术:移动计算设备可以物理地并可逆地与非整体屏幕对接,以便形成集成计算系统。此概念在图19A和19B示出,这些图描绘了包括移动计算设备的示例性系统,该移动计算设备可以可互换地与不同的非整体屏幕对接,以便形成具有不同的能力和/或特征的集成计算系统。例如,在图19A的实施例中,移动计算设备可包括对接连接器,该对接连接器可以与诸如屏幕103之类的非整体屏幕的对应的对接连接器匹配。在此情况下,屏幕103是相对大的并且平的显示器的形式,诸如可以符合平板个人计算机的显示器。移动设备101的对接连接器也可以使它与其他形状因子的非整体屏幕对接。如图19B所示,移动计算设备101可以与非整体屏幕103'对接,非整体屏幕103',在此情况下,呈现相对较小的屏幕的形式,诸如可以符合移动和/或智能电话的屏幕。当然,图19A和19B中的屏幕103,103'的形状因子只是示例性的,屏幕103,103'可以具有任何合适的形状因子,包括上文所描述的那些。
移动计算设备与对接的非整体屏幕的配对可以使用任何合适的方法来进行,包括上文指出的无线和有线配对协议。并非限制地,移动计算设备优选地使用有线配对协议来与对接的非整体屏幕配对。
在某些实施例中,被配置成与移动计算设备对接的非整体屏幕可以在成功地配对时向移动计算设备提供一个或多个额外的资源。例如,对接的非整体屏幕可包括一个或多个电能的源(例如,电池),这些电能源可以被用来补充移动计算设备的整体的电能供应,潜在地延长在没有被再充电的情况下移动计算设备可以被使用的时间。同样,对接的非整体屏幕可包括通信、存储器、处理、输入设备,其他资源,等等,可以利用它们来增强或补充移动计算设备的操作。例如,在图19B的情况下,屏幕103'可包括未被包括在移动计算设备101内的蜂窝式无线装置。在这样的情况下,移动计算设备101可以当它与屏幕103'对接时取得对蜂窝式无线装置的控制。这可以使移动计算设备101能使用屏幕103'中的蜂窝式无线装置,通过蜂窝网络来进行通信。屏幕中的额外的资源和组件的特征和类型可以取决于屏幕的形状因子以及其计划的用途。例如,在屏幕被包括在汽车中的情况下,它可包括或耦合到GPS、摄像机,及可以由对接的移动计算设备控制的其他传感器,以执行所希望的功能,诸如GPS导航操作、停放摄像机操作、驾驶员认证操作,其组合,等等。
本发明的另一方面涉及用于控制可以与移动计算设备配对或对接的非整体屏幕对数据的保留的技术。如可以理解的,移动计算设备可以将大量的视频和/或其他信息传输到它与其配对和/或对接的非整体屏幕。因此,在非整体屏幕停止与移动计算设备配对之后,相对于这样的数据和信息被非整体屏幕保留,会出现安全性顾虑。实际上,从移动计算设备传输到非整体屏幕的视频及其他信息的全部或一部分可保留在存储器或其他资源中。类似地,如果移动计算设备将一个或多个应用传输到屏幕(例如,进行配对或用于另一用途),在非整体屏幕不再与移动计算设备配对之后,那些应用可以保留在非整体屏幕上。结果,这样的应用和数据可能容易被恶意软件、黑客或指向非整体屏幕的另一未经授权的第三方获取。
为解决此问题,此处所描述的非整体屏幕可以被配置成在发生结束事件时删除从移动计算设备接收到的信息。结束事件的非限制性示例包括移动计算设备和屏幕之间的连接的结束、屏幕接收到终止信号、指定的时间段的期满、超出预定阈值的通信延迟(中间人攻击、克隆攻击),其组合,等等。
此处所描述的非整体屏幕还可以被配置成在受保护的环境中,诸如安全存储器飞地、受信任的执行环境,或其组合,存储或以别的方式维护应用及从移动计算设备接收到的其他信息。受保护的环境还可以进一步存储临时存储模块,该模块包括计算机可读临时存储指令,这些指令,当由处理器执行时,导致屏幕在发生结束事件时,删除应用及从移动计算设备接收到的其他信息,例如,从安全环境内的存储器和/或非整体屏幕内的其他位置。
例如,如上文所描述的,此处所描述的非整体屏幕可以与移动计算设备配对。一旦与移动计算设备建立了通信信道,屏幕就可以监视通信信道,看是否从移动计算设备接收到视频及其他信息(例如,应用)。从移动计算设备接收到的信息可以存储在屏幕的存储器中,诸如视频缓冲器、数据存储、另一种类型的存储器,其组合,等等。这样的存储器可以在屏幕上维护的受保护的环境内,或在另一位置。在任何情况下,屏幕都可以显示视频信息和/或执行从移动计算设备接收到的应用。
并行地,屏幕的处理器可以执行存储在显示器上的临时存储模块中的临时存储指令。临时存储指令,当被执行时,可以导致屏幕监视结束事件的发生,诸如上文所描述的那些。在发生结束事件时,临时存储指令,当被执行时,可以导致屏幕删除从移动计算设备接收到的信息中的任何或全部,包括视频信息、应用,和/或其他信息。
此处所描述的屏幕可以以经加密的或未加密的形式存储视频及从移动计算设备接收到的其他信息。在前一种情况下,此处所描述的屏幕包括可以存储在存储器中的加密模块。加密模块可以是在屏幕的存储器上预先提供的,或可以将它从移动计算设备推到屏幕,例如,作为配对协议的一部分。在任何情况下,加密模块可包括计算机可读指令,这些指令,当由屏幕的处理器执行时,导致屏幕对从移动计算设备接收到的视频数据及其他信息和应用进行加密。在某些实施例中,加密指令,当被执行时,还可以导致屏幕将经加密的视频及其他信息维持在经加密的状态,直到需要使用这样的信息,例如,在屏幕的显示器上呈现/显示图像。当需要信息时,加密指令,当被执行时,可以导致屏幕解密经加密的信息。在某些实施例中,信息可以仍保留在解密的状态,直到需要执行调用这样的信息的动作。一旦动作完成或在另一时间,加密指令,当被执行时,可以导致屏幕重新加密该信息。另选地或另外地,屏幕上的临时存储指令,当被执行时,可以导致屏幕删除不再由屏幕使用的经解密的信息。
如上文所描述的,本发明的移动计算设备可以被配置成将它们的显示输出传输到一个或多个非整体屏幕。除此能力之外,在某些实施例中,移动计算设备还可以被配置成包括高级网络连接。例如,此处所描述的移动计算设备可以被配置为,以便可以使用一种或多种形式的短程通信、一种或多种形式的长程通信,其组合,等等,来进行通信。关于这一点,再次参考图2,其中,WCOMMS被示为包括能够通过WiFi、NFC、RFID、蜂窝网络、TV空白网络,或其组合,来进行通信的硬件和/或软件。当然,这些形式的通信只是示例性的,WCOMMS 204不必包括所示出的通信形式的组合。实际上,WCOMMS 204可以被配置成允许移动计算设备101利用任何所需的通信模式或通信模式的组合来进行通信。
在某些实施例中,此处所描述的移动计算设备可以能够使用不同的通信模式中的一种或组合,诸如上文所描述的并在图2中所示出的那些,与广域网(例如,因特网)进行通信。在移动计算设备在广域网的接入点的通信范围内的情况下,它可以使用合适的通信模式,直接与接入点进行通信。然而,如果到广域网的接入点不在通信范围内,则此处所描述的移动计算设备可被配置成与范围内的其他设备进行通信,以试图与广域网建立通信。换言之,此处所描述的移动计算设备可以尝试建立和/或支持网状网络,该网状网络允许移动计算设备通过一个或多个中间设备,往返于广域网,传输与接收数据信号。
例如,第一移动计算设备可以能够进行WiFi通信以及通过NFC的通信,第一移动计算设备可以使用这些通信模式以图与诸如因特网之类的广域网进行通信。然而,如果到广域网的接入点不在通信范围内,则第一移动计算设备可以被配置成与范围内的其他设备进行通信,第一移动计算设备可以利用这些其他设备建立到广域网的通信通道。例如,第一移动计算设备可以将数据信号传输到在通信范围内的第二移动计算设备。第二移动计算设备可以基本上与第一移动计算设备相同,或者也可以不同。在任何情况下,第二移动计算设备可以被配置成将从其他移动计算设备接收到的数据信号中继到例如广域网(如果网络在第二计算设备的通信范围内),或到在范围内的其他移动计算设备。此过程可以持续,直到从第一移动计算设备发送的数据信号到达到广域网的接入点。来自广域网的数据信号可以类似地被中继到第一移动计算设备,例如,如果第一移动计算设备仍在广域网的接入点的通信范围之外。
前面的概念在图20中一般性地示出,该图20描绘了包括符合本发明的一个或多个移动计算设备的示例性网状网络。如图所示,图20包括移动计算设备1011。在所示实施例中,移动计算设备1011无线通信电路能够使用诸如蜂窝网络之类的长程通信网络来与广域网2002(例如,因特网)进行通信。
如进一步所示出的,所示出的网状网络包括移动计算设备1012。在所示实施例中,移动计算设备1012不能够与蜂窝网络2001进行通信,因为它超出范围,缺乏蜂窝网络连接,或它被配置成限制或避免蜂窝网络使用(如下文所描述的)。然而,移动计算设备1022可以利用其他通信模式来与广域网2002进行通信。例如,移动计算设备1012可以向移动计算设备1013发送数据信号。由于在所示实施例中,移动计算设备1013可能不能够直接与广域网2002进行通信,因此,它可以将从移动计算设备1012接收到的数据信号中继到范围内的其他设备/网络,在此情况下,移动计算设备101n。移动计算设备101n可以将从移动计算设备1013接收到的数据信号转发到其通信范围内的其他设备/网络,在此情况下,WiFi/电视空格(TVWS)网络2003。由于WiFi/TVWS网络也可能不能直接与广域网2002进行通信,因此,它可以将从移动计算设备1012接收到数据信号的中继到范围内的其他设备/网络,在此情况下,WiFi/TVWS回程网络2004。在所示实施例中,TVWS回程网络2004可以直接与广域网2002进行通信,如此,可以将从WiFi/TVWS网络2003接收到的数据信号转发到广域网2002。如此,设备1012可以利用网状网络中的其他设备来往返于广域网2002,传输与接收数据信号。
图20的实施例还包括移动计算设备1014,如上文所讨论的,该移动计算设备1014可以与一个或多个非整体屏幕1031-103n配对。通过非整体屏幕作出的输入可以被传输到移动计算设备1014,例如,通过建立的反向信道。这些输入可以导致移动计算设备尝试与广域网2002进行通信。在所示实施例中,移动计算设备1014不能直接与广域网2002进行通信,因为它超出通信范围,缺乏必要的连接,或以别的方式被配置成避免与广域网直接通信(由于下面所讨论的理由)。然而,类似于移动计算设备1012,移动计算设备1014可以使用网状网络来与广域网2002进行通信。在此情况下,移动计算设备可以通过家庭2006的WiFi/TVWS网络2005将数据信号中继到WiFi/TVWS回程网络2004,最终,到广域网2002。同样,移动计算设备1014可以被配置成从广域网2002接收通过网状网络的相同或其他元件路由的数据信号。
网状网络所面临的一种挑战是服务质量。即,可能难以在通过网状网络维持可靠连接和带宽(即,服务质量)的情况下使用户成本低。本发明的一个方面涉及用于刺激网状网络使用的系统和方法。这样的系统和方法的一个特征是使用可以驻留在网状网络内的每一个设备上的网络管理模块。网络管理模块可包括网络管理(NM)指令,这些指令,当由网状网络中的设备执行时,导致该设备监视由该设备通过网状网络中继的数据量。NM指令,当被执行时,也可以将数据的相对量与诸如带宽额度、货币,或用于向网状网络的其他用户提供网络带宽的另一刺激之类的奖赏相关联。这样的奖赏可以由用户用来购买连接用于保证服务质量需求,或另一种商品或服务的带宽预留。
随着可用的通信选项/渠道的数量增大,人们针对那些各种通信形式的成本、能力,极地管理他们的需求变得越来越重要。例如,通过蜂窝网络的通信昂贵,特别是在用户超出分配的分钟和/或数据池的情况下。在这样的情况下,相对于昂贵的通信形式(但是,潜在地,能力强大),用户可能希望使用价格比较低廉(但是,潜在地,能力差一些)的通信形式。例如,用户可能发现,对于某些动作,希望优选地使用网状网络,WiFi,和/或其他相对便宜的通信形式,而不是诸如通过蜂窝网络的通信之类的相对昂贵的通信形式。
考虑到前面的内容,本发明的另一方面涉及用于管理移动计算设备(包括此处所描述的那些及其他移动设备,诸如蜂窝电话、智能电话、平板PC、其组合,等等。)所使用的通信形式的技术。如前面所描述,这样的设备可以配备有无线通信接口,这些接口允许各种形式的通信,包括,但不仅限于,WiFi、NFC、蜂窝、电视空格,其组合等等。如下文所描述的,此处所描述的移动计算设备可以被配置成管理用来传递数据信号以便实现所希望的目标的通信形式。例如,移动计算设备可以被配置成管理通信形式,以便限制传递数据信号的成本和/或促进数据信号的接收(例如,在紧急消息的情况下或紧急情况)。
关于这一点,此处所描述的移动计算设备可包括存储在其存储器中的通信管理模块(CMM)。CMM可包括计算机可读通信管理(CM)指令,这些指令,当由处理器执行时,导致移动计算设备执行根据本发明的通信管理操作。例如,CM指令,当被执行时,可以导致移动计算设备使用对移动计算设备可用的一种或多种通信模式,来传输数据信号。对通信模式类型的选择可以基于各种因素,诸如通信的类型、其紧急程度、用户的位置、利用一个或多个传感器,通过移动计算检测到的上下文信息,服务质量要求,其组合等等。
例如,响应于请求发送数据信号,CM指令,当被执行时,可以导致移动计算设备分析这样的因素,并向数据信号分配紧急级别。如果由移动计算设备分析的因素暗示数据信号不是紧急的(例如,低于第一紧急阈值),则CM指令,当被执行时,可以导致移动计算设备使用一种或多种相对便宜的通信模式,诸如WiFi、NFC,另一形式的短程通信,其组合,等等,来传输数据信号。如果移动计算设备判断数据信号的紧急程度有点紧急(例如,超出第一紧急阈值),则CM指令,当被执行时,可以导致移动计算设备使用可能相对更贵的一种或多种通信模式,诸如TV空格网络、支付字节蜂窝网络、卫星通信、其组合,等等,来发送数据信号。如果移动计算设备判断数据信号的紧急程度非常高(例如,高于第二紧急阈值),则CM指令,当被执行时,可以导致移动计算设备使用对它可用的全部通信模式,来传输数据信号,不管成本。
类似地,CM指令,当被执行时,可以导致移动计算设备监视在移动计算设备上执行的应用的带宽要求,并将这样的要求与对移动计算设备可用的各种通信模式可用的/获得的带宽进行比较。基于此比较,CM指令,当被执行时,可以导致移动计算设备使用可以符合(或能够符合)应用的带宽要求的通信模式。关于这一点,此处所描述的移动计算设备可以被配置成维护服务的质量,例如,对于视频及可以由应用或另一实体指定的其他数据流。
对于当前电子邮件,信息流、社交流、照片、音乐、电影等等,个人可以声明大量的(例如,千兆字节或者甚至太字节)个人数据。在许多情况下,此数据的全部或一部分可以维护在大容量存储器中,或其他未维护在个人的移动设备上的存储器中。例如,个人可以在他们的移动设备之外的系统上存储数千兆字节的照片、应用等等。为允许对移动设备上的这样的信息的访问,开发了诸如Box、Dropbox、iCloud等等之类的服务,并一般性地操作,以提供云中的数据文件的中央聚合。尽管这些现有的服务有用,但是,它们提供的用户体验可能是有限的。例如,许多现有的服务忽略或分离某些数字数据类型,或强制用户选择哪些数据应该被缓存在便携式设备中。结果,可能需要用户干预,以确保所希望的数据被存储在所希望的移动设备中。这会不方便,特别是在用户具有对用于控制数据分布的机制的访问的情况下。
在某些实施例中,本发明的移动计算设备可以被配置成将用户的个人数据、文件、流及其他数字内容智能地缓存在钥匙链本地的存储器中,而提供对存储在远程位置的其他数据的网络访问。如下文所描述的,移动计算设备可以使用启发式法(例如,机器学习)和/或上下文信息来确定要在移动计算设备的本地存储器中缓存什么信息。这可以允许设备智能地缓存用户希望在移动计算设备上的数据,而同时缩小、最小化,或者甚至消除用户交互的必要性。
关于这一点,参考图21,该图21描绘了根据本发明的示例性智能缓存系统。如图所示,智能缓存系统2100包括移动计算设备101和服务器2101。为了说明起见,移动计算设备101在图21中被示为与非整体屏幕配对,然而,此处所描述的智能缓存操作可以在移动计算设备101没有与屏幕103配对的情况下执行。
服务器2101可以是被配置成通过一个或多个有线或无线通信链路发送和接收数据传输的远程计算系统。具体而言,服务器2101可以被配置成接收用户数据,例如,从移动计算设备101或另一源,并将这样的数据存储在其存储器中,诸如存储器2105。关于这一点,可以通过诸如网络2103之类的一个或多个网络,或通过诸如与移动计算设备的直接连接之类的另一种手段,往返于服务器2101传输到用户数据。此概念在图21中示出,在该图中,移动计算设备101被示为通过网络2103与服务器2101双向通信。
网络2103可以是传输数据的任何网络。作为可以被用作根据本发明的网络2103的合适的网络的示例,非限制性地提及因特网、专用网络、虚拟专用网络(VPN)、公共电话交换网(PSTN)、综合业务数字网(ISDN)、数字订户链路网络(DSL)、无线数据网络(例如,蜂窝电话网络),其组合,及能够传输数据的其他网络。在某些非限制性实施例中,网络102包括因特网、至少一个无线网络,以及至少一个蜂窝电话网络中的至少一项。
服务器2101可以呈现单一服务器机器或可以位于一起或在地理位置上分散的若干个服务器机器的形式。如前面所指出的,服务器2101可以操作,以从诸如移动计算设备101之类的一个或多个源,接收用户数据。
服务器2101可以将用户数据存储在存储器2105中,例如,作为一个或多个文件。存储器2105可以是任何合适类型的存储器,诸如上文对于此处所描述的移动计算设备以及屏幕所指出的存储器类型。在某些实施例中,存储器2105呈现磁性记录存储器、非易失性(闪存)存储器,或其组合的形式。
移动计算设备101和服务器2102可以各自都包括呈现在其上存储了缓存管理指令(CMI)的一个或多个计算机可读介质的形式的缓存管理模块(CMM)。CMI,当由处理器(例如,处理器2102)执行时,可以导致处理器执行根据本发明的智能缓存操作。CMM以及相关联的指令可以存储在诸如存储器2105之类的服务器2101本地或外部的存储器中。此概念在图21中示出,其中,存储器2105被示为包括CMM 2106。在某些实施例中,CMI,当由处理器2104执行时,可以导致服务器2101促进通过一个或多个移动或其他电子设备对存储在网络存储器106上的设置信息的分发(例如,下载)。CMI,当被执行时,可以导致服务器将用户信息存储在存储器2105中,例如,作为用户数据文件。CMI指令,当被执行时,也可以导致服务器2101将该文件与对应于移动计算设备101的用户的用户简档(未示出)相关联。在某些实施例中,网络服务器105可以利用从与特定用户简档相关联的一个或多个源上传的用户信息来填充数据库。
在某些实施例中,CMI指令,当被执行时,可以导致服务器2101将与用户简档相关联的存储在存储器2015中的用户数据的全部或一部分传输或“推”到移动计算设备101。在某些情况下,数据推送操作的推送操作的执行可以取决于用户简档中的信息或由该信息决定。例如,用户简档可以存储关于用户的数据偏爱、使用模式、职业、个人活动的信息,其他上下文信息,其组合等等。CMI指令,当被执行时,可以导致服务器2101监视从移动计算设备101(例如,从其一个或多个传感器)接收到的上下文信息,并使用这样的信息(单独地或和用户简档中的信息一起)来确定存储在存储器2015中的数据的类型以及本质,以推到移动计算设备2101。
如此,服务器2101可以,例如,使用启发式法,机器学习,等等,智能地确定要将存储器2107中的哪些数据推到移动计算设备101。这还可以使服务器2101能充当移动计算设备101的用户的安全数字角色的缓存代理。具体地,除用户个人数据之外,服务器2101还可以存储关于用户帐户、移动设备标识符,其组合,等等的信息。结果,在移动计算设备101丢失的情况下,可以使用服务器2101来将用户的数据和帐户信息恢复到新设备。同样,服务器2101可以被配置成发起远程删除操作。即,在移动计算设备101丢失的情况下,服务器2101可以被配置成例如通过网络2103将远程删除信号传输到设备。响应于接收到远程删除信号,移动计算设备101可以从其存储器中删除用户数据,并可任选地删除其他数据。
近年来,零售商、服务提供商及其他实体参与了大量用户数据的综合(在下文中,“大数据”)。大数据可以被那些实体用于各种用途,诸如预测消费者购买模式,跟踪特定的个人的购买习惯,或者甚至及时跟踪特定的个人的位置。此信息中的许多或全部可以被视为为消费者的个人信息。因此,可能希望控制对该信息的访问。
开发了多种服务,以帮助用户阻止第三方跟踪他们在计算机上的活动。作为一个示例,用户可以尝试通过使用一种或多种代理服务,来使他的或她的在因特网上的活动匿名。一般而言,代理服务要求用户登录到代理服务器门户,该门户可以由用户或第三方操作。从用户的计算机向因特网的查询被通过代理服务器门户路由,该门户通过一个或多个代理服务器路由该查询,最终到其计划的目的地。在这样的路由过程中,查询与用户的关联被减轻或删除,并被替换为与代理服务器的关联。结果,接收到查询的一方可能不能将查询与生成它的用户相关联。
虽然现有的代理服务可以有效地使用户匿名,但是,代理服务器常常不受诸如电子商务零售商之类的商业实体信任。结果,从代理服务器到商业网站(例如,用于购物或其他)的通信(例如,可能被忽略或拒绝。因此,现有的代理服务可能不能使用户能执行所希望的活动,诸如在线购物,同时保持对他们的大数据的控制。
考虑到前面的内容,本发明的另一方面涉及用于使受信任的代理操作能在移动计算设备、代理服务器,以及服务提供商之间发生的技术。如下文所描述的,代理服务器可以被计算设备和服务提供商两者信任。结果,服务提供商可以允许通过代理服务器路由的匿名查询到达它那里,并将这样的查询当做好像它们是传统的(即,用户可标识的)查询。
关于这一点,参考图22,该图22描绘了根据本发明的示例性代理系统。如图所示,代理系统2200包括移动计算设备101、服务器2102,以及服务提供商2201。移动计算设备101、服务器2102和服务提供商2201可以彼此进行直接或间接通信。例如,这些组件可以通过网络2103,彼此单向或双向地进行通信,如图22所示。服务提供商2201可以是任何类型的服务提供商,诸如商业的或非商业性的网站、远程资源,其组合,等等。
服务器2102可以操作,以从移动计算设备101接收指向服务提供商2201上的资源的查询,使这样的查询匿名,并将这样的查询路由到服务提供商2201。例如,服务提供商2201可以是通过web提供出售的产品的电子商务网站。在这样的情况下,移动计算设备101可以将指向服务提供商2201的查询传输到服务器2102。查询可包括例如购买由服务提供商提供供出售的商品的请求。服务器2102响应于接收到这样的查询,可以使该查询匿名,例如,通过从查询中删除标识标志(例如,移动计算设备101的IP地址),并将这样的标志替换为服务器2102的对应的标志。然后,服务器2102可以将匿名的查询传输到服务提供商2201。
在传输匿名的查询之前,在其过程中,或在其之后,服务器2102可以向服务提供商2201证明其身份,例如,使用一个或多个证明协议。这样的协议的非限制性示例包括直接自治证明(DAA)、增强型隐私标识(EPID)、远程证明、其组合,等等。服务器2102可以通过将通过合适的私钥签名的证明信号传输到服务提供商2201,来执行这样的证明。服务提供商2201可以使用对应的公钥,来验证私钥的真实性。如果证明成功,则可以在服务提供商2201和服务器2102之间建立信任的根。一旦建立了信任的根,服务提供商2201就可以被配置成信任从服务器2102接收到的匿名的传输,诸如上文所讨论的匿名查询。
返回到上文所讨论的购物示例,一旦建立了与服务提供商2201的信任的根,服务器2102就可以将匿名查询从移动计算设备101传输到服务提供商2201。服务提供商2201,在建立了与服务器2102的信任的根的情况下,可以被配置成将匿名的查询当作传统的查询。即,服务提供商2201可以服务于该查询,并将回复路由回到服务器2102。然后,服务器2102可以将回复路由回到移动计算设备101。在将回复传输回到移动计算设备101之前,服务器2102可以被配置成对回复执行一个或多个操作。例如,服务器2102可以在将回复传输到移动计算设备101之前,分析该回复,以确定是否有恶意软件、病毒、其他恶意代码,其组合,等等。
如图22所示,服务器2102可包括存储在存储器2105中或存储在另一存储器中的代理模块(PM)2202。PM 2202可包括计算机可读代理指令(PI),所述指令,当由处理器(例如,处理器2104)执行时,导致服务器2102执行根据本发明的代理(以及,可任选地,证明)操作。这样的操作一般与上文所描述的服务器2102的操作一致,如此,将不再重复。服务提供商2201可以类似地包括代理模块,该代理模块包括计算机可读指令,所述指令,当被执行时,导致它接受来自它与其建立了信任的根的代理服务器的代理指令。
在某些实施例中,移动计算设备101可以被配置成将通过诸如网络2103之类的网络引导的通信路由到服务器2102或另一受信任的代理服务器。例如,移动计算设备101可在其存储器中包括代理服务器的数据库以及代理浏览模块。代理浏览模块可包括计算机可读代理浏览指令(PBI),所述指令,当由处理器执行时,导致移动计算设备通过数据库中的受信任的代理服务器,诸如服务器2102,路由指向一个或多个服务提供商的通信。
为了讨论起见,图21以及22中所示出的系统被描述为与移动计算设备(即,移动计算设备101)相关联。应该理解,在这样的系统中移动计算设备101的使用只是示例性的,这样的系统可以利用任何合适的移动或其他电子设备来完成。
此处所描述的技术的另一非限制性使用情况涉及根据本发明的移动计算设备以及屏幕在诸如小汽车、火车、飞机或其他汽车之类的车辆中的使用。在此上下文中,根据本发明的屏幕可以与车辆集成,移动计算设备可以被配置成通过有线接口、无线接口,或其组合,与屏幕建立配对的连接,如上文所描述的。例如,移动计算设备可以被配置成至少部分地通过利用位于车辆中的并耦合到屏幕的对接连接器来进行对接,与屏幕建立配对的连接。另选地或另外地,移动计算设备可以以无线方式与屏幕建立配对的连接。在这样的情况下,诸如导航应用、音频流应用,等等之类的有用应用,可以在移动计算设备上执行,它们的相应的媒体输出被抛掷到屏幕。
此处所描述的技术的另一非限制性使用情况涉及根据本发明的移动计算设备在卫生保健背景中的使用。在这样的背景中,移动计算设备可包括存储用户的病历的存储器,或可以访问这样的病历(可以存储在远程位置)。在任一种情况下,希望转移或者授权对他的病历的访问的用户可以,通过移动计算设备,将他的病历及其他信息的显示“抛掷”到诸如医生的计算设备之类的非整体屏幕。由于涉及的信息的敏感性,病历在医生的计算设备上的显示可以取决于与医生的计算设备建立信任的根。在任何情况下,一旦病历的显示被“抛掷”,医生或非整体屏幕的其他用户就可以通过屏幕查看和/或更新病历。更新可以保存到存储在移动计算设备中或存储在远程位置(例如,远程服务器)的病历的副本。一旦医生查看完病历,移动计算设备就可以传输终止信号,导致非整体屏幕(即,医生的计算设备)删除存储在屏幕上的用户的病历的任何副本。
此处所描述的移动计算设备也可以实现其他医学背景中的有趣的使用情况。例如,根据本发明的移动计算设备可以配备有被配置成监视病人标识、生命体征、药物给送、病人移动、病人探访者、医生访问的长度,等等的传感器,并将这样的信息(例如,以音频和/或视频形式)“抛掷”到非整体屏幕。
此处所描述的技术的另一非限制性使用情况涉及根据本发明的移动计算设备在金融服务背景中的使用。在此上下文中,移动计算设备可以被用作用于金融交易的计算平台。例如,可以将此处所描述的移动计算设备发布给银行消费者,用于金融交易。在移动计算设备上执行的银行应用可以存储在一个或多个受保护的环境中,并可以以耐恶意软件的方式执行,诸如在在移动计算设备上执行的虚拟机中。从那些应用输出的媒体(音频、视频,等等)可以被移动计算设备抛掷到非整体屏幕(例如,自动柜员机),使用户与它们进行交互,例如,执行金融交易。当用户完成应用/交易时,移动计算设备可以将终止信号传输到屏幕,导致屏幕删除与应用和/或用户输入一起存储在其上的信息。这能够实现十分安全的金融交易,没有用户的财务记录或活动的痕迹可能会保留在屏幕上。
此处所描述的技术的另一非限制性使用情况涉及使用移动计算设备来管理对一个或多个服务和/或共享的资源的访问。此使用情况可能特定有趣,大量的个人可能希望同时访问有限的资源,诸如洗手间、餐厅、自动售货机等等。在此情况下,此处所描述的移动计算设备可以被用来远程注册使用服务或共享资源。注册可以由移动计算设备响应于手势、输入设备的输出、传感器数据等等而触发。注册可以涉及将信号传输到管理服务/共享资源的队列的第三方系统(例如,服务器)。然后,当轮到他或她使用服务/资源时,例如,响应于来自第三方系统的一个或多个信号,移动计算设备可以警告用户。类似地,移动计算设备可以被用来将用户引导到服务/共享资源的位置。
此处所描述的技术的另一非限制性使用情况涉及移动计算设备在公共交通中的使用,诸如在公共汽车、火车、班车等等中。在这样的情况下,根据本发明的移动计算设备可能能感知用户的位置、目的地,以及路线中的一项或多项。考虑到这一点,移动计算设备可以,响应于输入(例如,手势、传感器输入等等),跟踪用户的相对于目的地的位置。一旦检测到用户到达目的地,移动计算设备就可以警告用户。作为示例,移动计算设备可以通过将包含警告的视频信息抛掷到非整体屏幕诸如用户的护目镜,用户佩带的手表,或另一非整体屏幕,来警告用户。
此处所描述的技术的另一非限制性使用情况涉及根据本发明的移动计算设备与自助服务终端一起的使用。在这样的情况下,自助服务终端可以是移动计算设备可以与其配对的非整体屏幕。在用户在休假的情况下,这可能特别有用。在这样的情况下,可以在用户感兴趣的位置(例如,旅游胜地)提供自助服务终端。在这样的情况下,移动计算设备可以具有存储在其上的虚拟旅游应用。一旦与自助服务终端配对,移动计算设备就可以执行虚拟旅游应用,并将其音频/视频输出抛掷到自助服务终端。如可以理解的,这可以使用户能通过自助服务终端和移动计算设备,接收对旅游胜地的虚拟旅游,并与其进行交互。类似地,当自助服务终端位于机场时,移动计算设备可包括航空旅行管理应用。一旦与自助服务终端配对,移动计算设备就可以执行航空旅行管理应用,并将其音频/视频输出抛掷到自助服务终端。这可以使用户通过自助服务终端,获得航空旅行服务(例如,登机牌颁发、大门方向、航班出港提醒、用户的估计的到大门的到达时间的通知等等)。
此处所描述的技术的另一非限制性使用情况涉及此处所描述的移动计算设备在企业背景中的使用。在许多情况下,雇员希望将个人计算及其他电子设备带上班,并使用这样的设备来完成他们的工作。这会引发安全性顾虑,特别是在雇员的工作敏感或机密,而他的设备对诸如恶意软件之类的威胁的防护措施差的情况下。此处所描述的移动计算设备可以能够通过利用雇员提供的设备作为非整体屏幕,解决此顾虑的全部或一部分。
更具体而言,移动计算设备可以被配置成与雇员提供的设备(例如,平板、监视器等等)建立配对的连接,如上文一般性地描述的。然后,移动计算设备可以执行企业应用,并将其音频/视频输出(以及,潜在地,其他数据)“抛掷”到雇员的设备。在某个稍后的时间点,移动计算设备可以将终止信号传输到雇员的设备,其中,终止信号被配置成导致雇员的设备删除从移动计算设备接收到的数据及其他信息。由于企业应用在移动计算设备上执行并且与该执行一起的信息的全部或一部分被从雇员的设备中删除,可以增强企业资源的安全性。
此外,在企业背景中,移动计算设备可以配备有传感器及实现雇员定位以及通信服务的其他资源。关于这一点,移动计算设备可以配备有全球定位传感器、电话功能,和/或消息传送服务,它们可以被用来定位和/或联络雇员。类似地,移动计算设备可以被配置成将数据及其他信息抛掷(分发)到其他雇员,例如,与会议、演示等等一起。
示例
以下示例关于进一步的实施例。本发明的下面的示例可以包括主题材料,诸如系统、设备、方法,存储指令的计算机可读存储介质,所述指令,当被执行时,导致机器执行基于方法的动作,和/或用于执行基于方法的动作等等装置,如下面所提供的。
示例1:根据此示例,提供了一种包括处理器和存储器的移动计算设备,所述存储器包括至少一个模块,所述模块包括计算机可读指令,所述指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:通过有线和无线通信接口中的至少一种,与至少一个目标屏幕建立配对的连接,其中,所述目标屏幕是不与所述移动计算设备形成整体的屏幕;通过至少所述配对的连接,将由在所述移动计算设备上执行的应用和在所述移动计算设备上执行的操作系统(OS)中的至少一项所生成的至少视频信息传输到所述目标屏幕;其中,所述移动计算设备缺乏整体的显示器。
示例2:此示例包括示例1的特征中的任何一个或全部,其中,所述目标屏幕是无声屏幕和智能屏幕中的至少一种。
示例3:此示例包括示例1的特征中的任何一个或全部,其中,所述移动计算设备是蜂窝电话、电子阅读器、护目镜、移动游戏控制台、上网本计算机、笔记本电脑、因特网设备、个人数字助理、便携式媒体播放器、便携式媒体记录器、智能电话、平板个人计算机、超移动个人计算机,以及可穿戴计算设备中的一种。
示例4:此示例包括示例1的特征中的任何一个或全部,其中,所述移动计算设备被配置成与所述目标屏幕对接。
示例5:此示例包括示例4的特征中的任何一个或全部,其中,所述移动计算设备包括被配置成与所述目标屏幕的对应的连接器匹配的至少一个对接连接器。
示例6:此示例包括示例1的特征中的任何一个或全部,其中,所述移动计算设备包括有线媒体接口,其中,所述配对的连接是使用所述有线媒体接口建立的,所述移动计算设备被配置成通过所述配对的连接,至少将视频信息传输到所述目标屏幕。
示例7:此示例包括示例6的特征中的任何一个或全部,其中,所述有线媒体接口包括高清晰度多媒体接口、数字视频接口、通用串行总线接口中的至少一种,以及其组合。
示例8:此示例包括示例1的特征中的任何一个或全部,并且还包括至少一个传感器。
示例9:此示例包括示例8的特征中的任何一个或全部,其中,所述至少一个传感器包括光学传感器、定位传感器、朝向传感器、触觉传感器、运动传感器、生物特征传感器中的至少一种,以及其组合。
示例10:此示例包括示例9的特征中的任何两个或全部,其中,所述至少一个传感器包括光学传感器、定位传感器、朝向传感器、触觉传感器、运动传感器、生物特征传感器中的至少两种。
示例11:此示例包括示例1的特征中的任何一个或全部,并且还包括电源。
示例12:此示例包括示例11的特征中的任何一个或全部,其中,所述电源包括电池。
示例13:此示例包括示例12的特征中的任何一个或全部,其中,所述电池是通过有线的AC电源、有线的DC电源、无线充电技术,中的至少一种,以及其组合,可再充电的。
示例14:此示例包括示例13的特征中的任何一个或全部,其中,所述电池是通过无线充电技术,可再充电的,所述移动计算设备进一步包括用于接收电磁辐射并将该电磁辐射转换为电能的接收器。
示例15:此示例包括示例1的特征中的任何一个或全部,并且还包括至少一个输入设备。
示例16:此示例包括示例15的特征中的任何一个或全部,其中,所述至少一个输入设备包括按钮、触摸板、轨迹球、跟踪板、键盘、鼠标,以及运动传感器中的至少一种。
示例17:此示例包括示例1的特征中的任何一个或全部,包括无线通信接口,其中,所述至少一个模块包括输入设备模块,所述输入设备模块包括计算机可读指令,所述指令,当由所述处理器执行时,导致所述移动计算设备通过所述无线通信接口,以无线方式与所述至少一个输入设备配对。
示例18:此示例包括示例1的特征中的任何一个或全部,其中,所述移动计算设备包括无线通信接口以及有线通信接口两者。
示例19:此示例包括示例1的特征中的任何一个或全部,所述至少一个模块还包括其中包括计算机可读配对指令的设备配对模块,所述指令,当由所述处理器执行时,导致所述移动计算设备至少通过执行包括下列各项的配对操作,建立所述配对的连接:导致所述处理器确定所述目标屏幕的身份。
示例20:此示例包括示例19的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,导致所述处理器至少部分地通过标识所述目标屏幕的因特网协议地址,来确定所述目标屏幕的所述身份。
示例21:此示例包括示例20的特征中的任何一个或全部,其中,所述配对操作还包括:导致所述移动计算设备将请求消息传输到所述目标屏幕,所述请求消息被配置成导致所述目标屏幕将标识符传输到所述移动计算设备;以及,导致所述移动计算设备从至少所述标识符,确定所述目标屏幕的所述身份。
示例22:此示例包括示例20的特征中的任何一个或全部,其中,移动计算设备包括有线通信接口,所述配对指令,当由所述处理器执行时,导致所述移动计算设备至少部分地使用所述有线通信接口,来确定所述目标屏幕的所述身份。
示例23:此示例包括示例20的特征中的任何一个或全部,其中,移动计算设备包括能够至少进行短程通信的无线通信接口,所述配对指令,当由所述处理器执行时,导致所述移动计算设备至少部分地使用所述短程通信,来确定所述目标屏幕的所述身份。
示例24:此示例包括示例23的特征中的任何一个或全部,其中,所述短程通信包括近场通信和蓝牙通信中的至少一种。
示例25:此示例包括示例21中的特征中的任何一个或全部,其中,所述目标屏幕将所述标识符存储在射频标识符(RFID)中,所述无线计算设备包括至少RFID通信设备,以及所述配对指令,当由所述处理器执行时,导致所述处理器监视是否利用所述RFID通信设备接收到所述标识符,并至少部分地根据所述标识符,确定所述目标屏幕的所述身份。
示例26:此示例包括示例21中的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致所述处理器执行下列操作,包括:响应于接收到所述标识符,将所述标识符存储在所述存储器中。
示例27:此示例包括示例20的特征中的任何一个或全部,其中,所述配对指令,当由所述移动计算设备执行时,导致所述移动计算设备至少部分地通过下列操作,来确定所述目标屏幕的所述身份:将请求消息传输到了解所述目标屏幕的第三方系统,所述请求消息被配置成导致所述第三方系统将所述目标屏幕的所述身份传输到所述移动计算设备。
示例28:此示例包括示例1的特征中的任何一个或全部,其中,所述目标屏幕在所述移动计算设备的附近。
示例29:此示例包括示例20的特征中的任何一个或全部,其中,所述配对操作还包括导致所述移动计算设备与所述目标屏幕交换配对密钥。
示例30:此示例包括示例29的特征中的任何一个或全部,其中,所述配对密钥是所述移动计算设备特有的。
示例31:此示例包括示例29的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致移动计算设备至少部分地通过与所述目标屏幕建立配对会话和通信信道,来建立所述配对的连接。
示例32:此示例包括示例31的特征中的任何一个或全部,其中,所述通信信道是双向的。
示例33:此示例包括示例31的特征中的任何一个或全部,其中,所述通信信道是单向的。
示例34:此示例包括示例31的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,导致所述移动计算设备使用无线通信协议,来建立所述配对会话和所述通信信道。
示例35:此示例包括示例34的特征中的任何一个或全部,其中,所述无线通信协议包括传输控制协议(TCP)和用户数据报协议(UDP)中的至少一个。
示例36:此示例包括示例33的特征中的任何一个或全部,其中,所述配对操作还包括:导致所述移动计算设备与所述目标屏幕建立通信反向信道。
示例37:此示例包括示例31的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,导致所述所述移动计算设备使用所述移动计算设备的至少第一套接字,来建立所述通信信道。
示例38:此示例包括示例37的特征中的任何一个或全部,其中,第一套接字是实时流协议套接字。
示例39:此示例包括示例36的特征中的任何一个或全部,其中,所述存储器还包括其中包括计算机可读反向信道指令的反向信道模块,其中,所述反向信道指令,当由所述处理器执行时,导致所述移动计算设备至少部分地通过与所述目标屏幕协商互相支持的套接字,来建立所述通信反向信道。
示例40:此示例包括示例19的特征中的任何一个或全部,其中,所述配对操作还包括:导致所述移动计算设备监视是否有结束事件;当没有检测到所述结束事件时,维持所述配对的连接;以及,响应于检测到所述结束事件,结束所述配对的连接。
示例41:此示例包括示例19的特征中的任何一个或全部,其中,所述配对操作还包括导致所述处理器将所述移动计算设备置于公共域中。
示例42:此示例包括示例19的特征中的任何一个或全部,其中,所述配对操作还包括导致所述处理器广播公共连接请求。
示例43:此示例包括示例42的特征中的任何一个或全部,其中,所述移动计算设备被配置成响应于至少一个输入,发起所述公共连接请求的广播。
示例44:此示例包括示例43的特征中的任何一个或全部,其中,所述至少一个输入包括按钮按压以及手势中的至少一种。
示例45:此示例包括示例42的特征中的任何一个或全部,其中,所述配对操作还包括导致所述移动计算设备监视是否从所述目标屏幕接收到连接密钥。
示例46:此示例包括示例45的特征中的任何一个或全部,其中,所述配对操作还包括,响应于接收到所述连接密钥,导致所述移动计算设备验证所述连接密钥的真实性,如果对所述连接密钥的所述真实性的验证失败,则结束所述配对操作。
示例47:此示例包括示例19的特征中的任何一个或全部,其中,所述移动计算设备包括有线通信接口,其中,所述配对操作还包括导致所述移动计算设备通过所述有线通信接口,建立所述配对的连接。
示例48:此示例包括示例19的特征中的任何一个或全部,其中,所述移动计算设备包括无线通信接口,其中,所述配对操作还包括导致所述移动计算设备通过所述无线通信接口,建立所述配对的连接。
示例49:此示例包括示例1的特征中的任何一个或全部,其中,所述配对的连接是所述移动计算设备和所述目标屏幕之间的对等的连接。
示例50:此示例包括示例1的特征中的任何一个或全部,其中,所述视频信息包括在所述移动计算设备上执行的所述应用和在所述移动计算设备上执行的所述操作系统(OS)两者中的至少一个的帧缓冲器的帧,所述至少一个模块包括其中包括计算机可读FT指令的framethrower(FT)模块,其中,所述FT指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:捕捉所述帧;将所述帧封装到分组中;以及,通过所述配对的连接,将所述分组传输到所述目标屏幕。
示例51:此示例包括示例50的特征中的任何一个或全部,其中,所述FT指令,当由所述处理器执行时,进一步导致所述移动计算设备在将所述帧封装在所述分组之前,压缩所述帧。
示例52:此示例包括示例51的特征中的任何一个或全部,其中,所述FT指令,当由所述处理器执行时,进一步导致所述移动计算设备使用帧间压缩、帧内压缩、颜色空间压缩,以及数据减少,来压缩所述帧。
示例53:此示例包括示例51的特征中的任何一个或全部,进一步包括被配置成压缩帧的硬件压缩引擎。
示例54:此示例包括示例50的特征中的任何一个或全部,其中,所述FT指令,当由所述处理器执行时,进一步导致所述移动计算设备:监视是否有结束事件;如果没有检测到所述结束事件,则继续将所述分组传输到所述目标屏幕;以及,响应于检测到所述结束事件,结束所述分组向所述目标屏幕的传输。
示例55:此示例包括示例51的特征中的任何一个或全部,其中,所述FT指令,当由所述处理器执行时,进一步导致所述移动计算设备:监视至少一个被监视的性能度量;以及,至少部分地基于所述至少一个被监视的性能度量,动态地调整应用于所述帧的压缩的级别以及类型中的至少一项。
示例56:此示例包括示例55的特征中的任何一个或全部,其中,所述至少一个被监视的性能度量包括处理器性能、处理器负载、所述目标屏幕的性能、所述配对的连接的带宽消耗、所述移动计算设备的功率消耗、所述目标屏幕的功率消耗、以及所述移动计算设备的电池电量中的至少一项。
示例57:此示例包括示例55的特征中的任何一个或全部,其中,所述FT指令,当由所述处理器执行时,进一步导致所述移动计算设备:利用指定应用于所述帧的压缩的所述类型以及级别中的至少一项的信息,注释所述分组中的每一个分组。
示例58:此示例包括示例55的特征中的任何一个或全部,其中,所述FT指令,当由所述处理器执行时,进一步导致所述移动计算设备:将所述被监视的性能度量与预定的性能阈值进行比较;至少部分地基于所述被监视的性能度量符合或超出所述预定的性能阈值,动态地调整或维持应用于所述帧的压缩的级别以及类型中的所述至少一项。
示例59:此示例包括示例55的特征中的任何一个或全部,其中,所述被监视的性能度量包括所述配对的连接的所述带宽使用以及对所述移动计算设备的所述处理器施加的负载,以及所述FM指令,当由所述处理器执行时,进一步导致所述移动计算设备:动态地调整应用于所述帧的压缩所述类型以及级别中的至少一项,以在对所述移动计算设备的所述处理器施加的所述负载以及所述配对的连接的所述带宽使用之间实现所希望的平衡。
示例60:此示例包括示例1的特征中的任何一个或全部,其中,所述视频信息包括在所述移动计算设备上执行的所述应用和在所述移动计算设备上执行的所述操作系统(OS)两者中的至少一个的帧缓冲器的帧,所述至少一个模块包括其中包括计算机可读ST指令的streamthrower(ST)模块,所述ST指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:捕捉所述帧;将所述帧转换为视频;以及,根据预定的视频传输协议,通过所述配对的连接,将包含所述视频的信号传输到所述目标屏幕。
示例61:此示例包括示例60的特征中的任何一个或全部,其中,所述ST指令,当由所述处理器执行时,进一步导致所述移动计算设备使用预定的视频转换协议,将所述帧转换为视频。
示例62:此示例包括示例60的特征中的任何一个或全部,其中,所述预定的视频传输协议是视频流传输协议。
示例63:此示例包括示例62的特征中的任何一个或全部,其中,所述视频流传输协议是实时流传输协议(RTSP)。
示例64:此示例包括示例60的特征中的任何一个或全部,其中,所述ST指令,当由所述处理器执行时,进一步导致所述移动计算设备在将所述信号传输到所述目标屏幕之前压缩所述视频。
示例65:此示例包括示例64的特征中的任何一个或全部,进一步包括被配置成压缩视频的硬件压缩引擎。
示例66:此示例包括示例60的特征中的任何一个或全部,其中,所述ST指令,当由所述处理器执行时,进一步导致所述移动计算设备:监视是否有结束事件;如果没有检测到所述结束事件,则继续将所述包含所述视频的信号传输到所述目标屏幕;以及,响应于检测到所述结束事件,结束向所述目标屏幕的包含所述视频的所述信号的传输。
示例67:此示例包括示例1的特征中的任何一个或全部,其中,所述至少一个模块包括其中包括计算机可读多信道(MC)指令的多信道视频传输(MVT)模块,所述多信道指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:监视所述目标屏幕的显示性能特征;将所述显示性能特征与预定的性能阈值进行比较,以判断所述目标屏幕的性能是否令人满意;当所述目标屏幕的所述性能令人满意时,继续将所述视频信息传输到所述目标屏幕,而不必作修改;当所述目标屏幕的所述性能不能令人满意时,使用额外的传输模式,与所述目标屏幕建立补充连接,所述额外的传输模式不同于被用来建立所述配对的连接的第一传输模式;以及,使用所述配对的连接以及所述补充连接,将所述视频信息传输到所述目标屏幕。
示例68:此示例包括示例67的特征中的任何一个或全部,其中,所述显示性能特征包括由所述目标屏幕显示的所述视频信息的每秒帧数、由所述目标屏幕丢弃的所述视频信息的帧数以及所述目标屏幕的帧更新之间的时间这几项中的至少一项。
示例69:此示例包括示例67的特征中的任何一个或全部,其中,第一传输模式是短程通信模式,而所述额外的传输模式是长程通信模式。
示例70:此示例包括示例67的特征中的任何一个或全部,其中,所述第一传输模式包括所述移动计算设备和所述目标屏幕之间的无线连接,而所述额外的传输模式包括所述移动计算设备和所述目标屏幕之间的有线连接。
示例71:此示例包括示例67的特征中的任何一个或全部,其中,所述第一传输模式包括第一类型的无线通信,而所述第二传输模式包括不同于所述第一类型的无线通信的第二类型的无线通信。
示例72:此示例包括示例1的特征中的任何一个或全部,其中,所述视频信息具有第一朝向,所述移动计算设备具有第二朝向,所述至少一个模块包括朝向控制(OC)模块,所述OC模块包括计算机可读OC指令,所述OC指令,当由所述处理器执行时,导致所述移动计算设备管理相对于所述第二朝向的所述第一朝向。
示例73:此示例包括示例72的特征中的任何一个或全部,其中,所述OC指令,当由所述处理器执行时,导致所述移动计算设备至少部分地通过导致所述操作系统向所述应用报告,所述第二朝向是固定的,来管理所述第一朝向。
示例74:此示例包括示例72的特征中的任何一个或全部,其中,所述视频信息至少部分地由所述应用产生,而所述OC指令,当由所述处理器执行时,进一步导致所述应用要求,所述视频信息与所述第二朝向一致。
示例75:此示例包括示例72的特征中的任何一个或全部,其中,所述视频信息至少部分地由所述移动计算设备产生,而所述OC指令,当由所述处理器执行时,导致所述移动计算设备管理所述第一朝向,至少部分地通过:监视所述应用的显示输出的一个或多个预期的参数的改变;以及,响应于检测到所述一个或多个预期的参数的变化,将传达所述应用的预期的显示器输出的一个或多个预期的参数的所述变化的消息传输到所述目标屏幕。
示例76:此示例包括示例75的特征中的任何一个或全部,其中,所述消息包括定义所述应用的显示输出的所述一个或多个预期的参数的所述变化的标头。
示例77:此示例包括示例76的特征中的任何一个或全部,其中,所述消息还包括定义所述一个或多个预期的参数的新预期的值的正文部分。
示例78:此示例包括示例75的特征中的任何一个或全部,其中,所述应用的显示输出的所述一个或多个预期的参数包括由所述应用预期的所述显示输出的朝向、由所述应用预期的所述显示输出的缩放比例,以及由所述应用预期的所述显示输出的分辨率中的至少一项。
示例79:此示例包括示例77的特征中的任何一个或全部,其中,所述消息进一步被配置成导致所述目标屏幕结束其中显示了所述视频信息的现有的窗口,并打开一个新的窗口,用于根据所述应用的显示输出的一个或多个预期的参数的所述变化,显示所述视频信息。
示例80:此示例包括示例75的特征中的任何一个或全部,其中,所述OC指令,当由所述处理器执行时,进一步导致所述移动计算设备监视是否从所述目标屏幕接收到确认一个或多个预期的参数的所述变化的确认消息。
示例81:此示例包括示例1的特征中的任何一个或全部,其中,所述至少一个模块包括其中包括计算机可读OL指令的卸载(OL)模块,所述OL指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:响应于所述接收到已编码的信息,将所述已编码的信息路由到所述目标屏幕,用于解码。
示例82:此示例包括示例81的特征中的任何一个或全部,其中,所述已编码的信息包括已编码的视频。
示例83:此示例包括示例81的特征中的任何一个或全部,其中,所述OL指令,当由所述处理器执行时,进一步导致所述移动计算设备处理附属于所述已编码的信息的信息,以产生帧缓冲器输出。
示例84:此示例包括示例83的特征中的任何一个或全部,其中,所述存储器还包括在其中存储的framethrower(FT)模块,所述FT模块包括计算机可读FT指令,其中,所述FT指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:捕捉所述帧缓冲器输出的帧;将所述帧封装到分组中;以及,将所述分组传输到所述目标屏幕。
示例85:此示例包括示例83的特征中的任何一个或全部,其中,所述存储器还包括在其中存储的streamthrower(ST)模块,所述ST模块包括计算机可读ST指令,其中,所述ST指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:捕捉所述帧缓冲器输出的帧;将所述帧转换为视频;以及,根据预定的视频传输协议,通过所述配对的连接,将所述视频传输到所述目标屏幕。
示例86:此示例包括示例1的特征中的任何一个或全部,并进一步包括:将一个或多个输入设备输出与一个或多个动作相关联的第一数据库;其中,所述至少一个模块包括其中包括计算机可读手势指令的手势模块,其中,所述手势指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:监视是否从至少一个输入设备接收到输入设备输出,以便确定检测到的输入设备输出;将所述检测到的输入设备输出与所述第一数据库中的输入设备输出进行比较;以及,当所述检测到的输入设备输出匹配或关联到所述输入设备数据库中的输入设备输出时,执行关联到所述第一数据库中的所述输入设备输出的所述一个或多个动作。
示例87:此示例包括示例86的特征中的任何一个或全部,其中,所述至少一个输入设备包括鼠标、键盘、轨迹球、跟踪板,以及运动传感器中的至少一种。
示例88:此示例包括示例86的特征中的任何一个或全部,其中,所述手势指令,当由所述处理器执行时,进一步导致所述移动计算设备执行下列操作,包括:当没有检测到关联到第一数据库中的输入设备输出的检测到的输入设备输出时,判断预定的时间段是否已经期满;当所述预定的时间段没有期满时,继续监视关联到所述数据库中的输入设备输出的检测到的输入设备输出;以及,当所述预定的时间段已经期满时,结束监视所述检测到的输入设备输出。
示例89:此示例包括示例86的特征中的任何一个或全部,其中,所述第一数据库还包括修改与第一数据库中的至少一个输入设备输出相关联的至少一个动作的至少一个上下文修改符,手势模块指令,当由处理器执行时,进一步导致移动计算设备:当检测到的输入设备输出匹配或关联到第一数据库中的输入设备输出时,判断至少一个上下文修改符是否存在;以及,执行根据第一数据库以及上下文修改符中的输入设备输出的动作。
示例90:此示例包括示例89的特征中的任何一个或全部,其中,上下文修改符包括在移动计算设备上执行的应用的状态、检测到的输入设备输出的大小、由至少一个输入设备报告的输入动作中的至少一项,以及其组合。
示例91:此示例包括示例90的特征中的任何一个或全部,其中,所述至少一个输入设备包括按钮以及运动传感器,输入动作包括按压按钮、上下文修改符包括输入动作以及来自运动传感器的输出两者的组合。
示例92:此示例包括示例86的特征中的任何一个或全部,其中:所述应用包括社交媒体应用;所述第一数据库将第一输入设备输出与所述社交媒体应用的执行的发起相关联,将第二输入设备输出与动作在所述社交媒体应用内的执行相关联;手势指令,当由所述处理器执行时,导致所述移动计算设备当所述检测到的输入设备输出匹配或关联到所述第一输入设备输出时执行所述社交媒体应用,当所述检测到的输入设备输出匹配或关联到所述第二输入设备输出时,在所述社交媒体应用内执行动作。
示例93:此示例包括示例86的特征中的任何一个或全部,还包括将一个或多个输入设备输出与移动计算设备的一个或多个经认证的用户相关联的安全性数据库,其中,所述手势指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:将所述检测到的输入设备输出与所述安全性数据库中的输入设备输出进行比较;以及,当所述检测到的输入设备输出匹配或关联到所述安全性数据库中的输入设备输出时,授权对所述移动计算设备的访问。
示例94:此示例包括示例93的特征中的任何一个或全部,还包括受保护的环境,其中,所述安全性数据库存储在所述受保护的环境中。
示例95:此示例包括示例94的特征中的任何一个或全部,其中,所述受保护的环境包括存储器飞地以及受信任的执行环境两者中的至少一项。
示例96:此示例包括示例93的特征中的任何一个或全部,其中,所述第一数据库包括所述安全性数据库。
示例97:此示例包括示例96的特征中的任何一个或全部,还包括受保护的环境,其中,所述第一数据库存储在所述受保护的环境中。
示例98:此示例包括示例50的特征中的任何一个或全部,其中:所述存储器还包括其中存储的输入设备(ID)模块,所述ID模块包括计算机可读ID指令,所述ID指令,当由所述处理器执行时,导致所述移动计算设备至少部分地基于输入设备的输出,将数字指针插入到所述帧缓冲器中的某一位置;所述视频信息包括所述数字指针。
示例99:此示例包括示例98的特征中的任何一个或全部,其中,所述ID模块指令,当由所述处理器执行时,进一步导致所述移动计算设备执行下列操作,包括:至少部分地基于所述输入设备的输出的检测到的变化,改变所述数字指针的所述位置。
示例100:此示例包括示例99的特征中的任何一个或全部,其中,所述ID模块指令,当由所述处理器执行时,进一步导致所述移动计算设备执行下列操作,包括:将所述输入设备的所述输出转换为二维屏幕表面坐标;至少部分地基于所述二维屏幕表面坐标,将所述数字指针插入到所述帧缓冲器中的某一位置;以及,至少部分地基于所述二维屏幕表面坐标的检测到的变化,改变所述数字指针的所述位置。
示例101:此示例包括示例98的特征中的任何一个或全部,其中,所述至少一个输入设备包括鼠标、键盘、轨迹球、跟踪板,以及运动传感器中的至少一种。
示例102:此示例包括示例98的特征中的任何一个或全部,其中,所述ID指令,当由所述处理器执行时,进一步导致所述移动计算设备执行下列操作,包括:监视所述输入设备的所述输出,是否有检测到的输入设备事件;以及,将所述检测到的输入设备事件报告给所述应用以及所述操作系统中的至少一项,以便导致所述应用、所述操作系统,或其组合执行根据所述检测到的输入设备事件的动作。
示例103:此示例包括示例102的特征中的任何一个或全部,其中,所述应用包括至少一个社交媒体应用。
示例104:此示例包括示例102的特征中的任何一个或全部,其中,所述检测到的输入设备事件包括所述至少一个输入设备的运动、利用所述至少一个输入设备的手势、利用所述至少一个输入设备的拖动,以及对所述至少一个输入设备上的按钮的按压中的至少一项。
示例105:此示例包括示例98的特征中的任何一个或全部,其中,所述输入设备通过有线连接、无线连接或其组合,耦合到所述移动计算设备。
示例106:此示例包括示例98的特征中的任何一个或全部,其中,所述ID指令,当由所述处理器执行时,导致所述移动计算设备:监视是否从所述目标屏幕接收到所述输入设备的所述输出;以及,至少部分地基于所述输入设备的所述输出,将数字指针插入到所述帧缓冲器中的某一位置。
示例107:此示例包括示例106的特征中的任何一个或全部,其中,所述配对的连接是双向的,所述ID指令,当由所述处理器执行时,进一步导致所述移动计算设备监视是否通过至少所述配对的连接接收到所述输入设备的所述输出。
示例108:此示例包括示例106的特征中的任何一个或全部,其中,所述ID指令,当由所述处理器执行时,进一步导致所述移动计算设备监视是否通过至少在所述移动计算设备以及所述目标屏幕之间建立的反向信道,接收到所述输入设备的所述输出,所述反向信道不同于所述配对的连接。
示例109:此示例包括示例106的特征中的任何一个或全部,其中,所述ID指令,当由所述处理器执行时,进一步导致所述移动计算设备将对应于所述输入设备的所述输出的像素坐标缩放到所述操作系统以及所述应用中的至少一项的原始分辨率。
示例110:此示例包括示例106的特征中的任何一个或全部,其中,所述ID指令,当由所述处理器执行时,进一步导致所述移动计算设备执行下列操作,包括:监视是否从所述目标屏幕接收到数据信号,所述数据信号包括所述输入设备的所述输出被编码在其中的分组;以及,响应于接收到所述数据信号,解码所述分组,以获得所述输入设备的所述输出。
示例111:此示例包括示例1的特征中的任何一个或全部,其中,所述至少一个模块的计算机可读的指令,当由所述处理器执行时,进一步导致所述移动计算设备:与至少一个额外的非整体目标屏幕建立额外的配对的连接;以及,将所述视频信息传输到所述目标屏幕以及所述至少一个额外的非整体目标屏幕。
示例112:此示例包括示例111的特征中的任何一个或全部,其中,所述至少一个模块包括其中包括计算机可读AC指令的访问控制(AC)模块,其中,所述AC指令,当由所述处理器执行时,导致所述移动计算设备限制所述目标屏幕和所述至少一个额外的非整体目标屏幕具有对所述移动计算设备上的资源的访问的程度,对所述移动计算设备的控制,或其组合。
示例113:此示例包括示例112的特征中的任何一个或全部,其中,计算机可读AC指令,当由所述处理器执行时,导致所述移动计算设备将对所述移动计算设备上的资源的访问、对所述移动计算设备的控制,或其组合,限制到所述目标屏幕和所述至少一个额外的非整体目标屏幕中的一个。
示例114:此示例包括示例112的特征中的任何一个或全部,其中,所述计算机可读AC指令,当由所述处理器执行时,导致所述移动计算设备将访问控制令牌传输到所述目标屏幕和所述至少一个额外的非整体目标屏幕中的一项或多项,所述访问控制令牌被配置成启用指定程度的对所述移动计算设备上的资源的访问,指定程度的对所述移动计算设备的控制,或其组合。
示例115:此示例包括示例114的特征中的任何一个或全部,其中,所述至少一个模块包括其中包括计算机可读手势指令的手势模块,其中,所述手势指令,当被执行时,导致所述移动计算设备响应于利用所述移动计算设备作出的手势,传输所述访问控制令牌。
示例116:此示例包括示例113的特征中的任何一个或全部,其中,所述访问控制令牌被配置成控制被传输到所述目标屏幕和所述至少一个额外的非整体目标屏幕的所述视频信息的内容。
示例117:此示例包括示例111的特征中的任何一个或全部,其中,所述计算机可读AC指令,当由所述处理器执行时,进一步导致所述移动计算设备执行下列操作,包括:监视是否从所述目标屏幕和所述至少一个额外的非整体目标屏幕中的一项或多项接收到信号,所述信号指定至少一个操作的执行;以及,响应于接收到所述信号,执行所述至少一个操作。
示例118:此示例包括示例114的特征中的任何一个或全部,其中,所述计算机可读AC指令,当由所述处理器执行时,进一步导致所述移动计算设备执行下列操作,包括:将所述访问控制令牌发布到所述目标屏幕以及所述至少一个额外的非整体目标屏幕中的一项或多项;监视是否从所述目标屏幕和所述至少一个额外的非整体目标屏幕中的一项或多项接收到信号,所述信号指定用于在所述移动计算设备上执行的至少一个操作;以及,响应于接收到所述信号:当所述信号是从不拥有所述访问控制令牌的目标屏幕接收到的时,忽略所述操作;以及,当所述信号是从拥有所述访问控制令牌的目标屏幕接收到的时,利用所述移动计算设备执行所述操作。
示例119:此示例包括示例118的特征中的任何一个或全部,其中,所述操作涉及所述移动计算设备上的资源,所述计算机可读AC指令,当由所述处理器执行时,进一步导致所述移动计算设备执行下列操作,包括:在执行所述操作之前,判断拥有所述访问控制令牌的目标屏幕是否被授予足够的访问或足够的对所述资源的控制用以执行所述操作。
示例120:此示例包括示例114的特征中的任何一个或全部,其中,所述计算机可读AC指令,当由所述处理器执行时,进一步导致所述移动计算设备执行下列操作,包括:通过改变发布到所述目标屏幕以及所述至少一个额外的非整体目标屏幕中的一项或多项的访问控制令牌,撤销发布到所述目标屏幕以及所述至少一个额外的非整体目标屏幕中的一项或多项的访问控制令牌,或其组合,修改对所述移动计算设备上的资源的访问的所述指定的程度,对所述移动计算设备的控制的所述指定的程度,或其组合。
示例121:此示例包括示例4的特征中的任何一个或全部,其中,所述至少一个目标屏幕包括多个目标屏幕,所述移动计算设备被配置成与所述多个目标屏幕中的每一个可互换地对接。
示例122:此示例包括示例121的特征中的任何一个或全部,其中,所述移动计算设备包括被配置成与所述多个目标屏幕中的每一个的对应的连接器匹配的至少一个对接连接器。
示例123:此示例包括示例121的特征中的任何一个或全部,其中,所述移动计算设备被配置成可接收地啮合在所述多个目标屏幕中的每一个的对接凹陷内。
示例124:此示例包括示例1的特征中的任何一个或全部,其中,由所述处理器执行的至少一个应用导致所述移动计算设备生成所述视频信息。
示例125:此示例包括示例1的特征中的任何一个或全部,其中,所述目标屏幕包括一个或多个资源,其中,所述至少一个模块的所述计算机可读的指令,当由所述处理器执行时,导致所述移动计算设备断言对所述资源的控制。
示例126:此示例包括示例125的特征中的任何一个或全部,其中,所述一个或多个资源包括补充电源、输入设备、传感器,以及蜂窝式无线装置中的至少一项。
示例127:此示例包括示例125的特征中的任何一个或全部,其中,所述一个或多个资源包括至少一个从包括摄像机、全球定位传感器、生物特征扫描器的组中选择的传感器。
示例128:此示例包括示例1的特征中的任何一个或全部,其中,所述至少一个模块的计算机可读的指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:尝试建立到广域网的直接有线或无线连接;当不能实现到所述广域网的直接连接时,将数据信号发送到网状网络的一个或多个元素,所述数据信号被配置成导致所述一个或多个元素将所述数据信号路由到所述广域网,无论直接还是通过经由所述广域网的至少一个额外的元件来路由所述数据信号。
示例129:此示例包括示例128的特征中的任何一个或全部,其中,网状网络的所述元素包括额外的移动计算设备、目标屏幕、WiFi网络、以及电视空白空间网络中的至少一项。
示例130:此示例包括示例128的特征中的任何一个或全部,其中,所述移动计算设备被配置成直接或通过所述网状网络的所述元素中的一项或多项,从所述广域网接收数据信号。
示例131:此示例包括示例128的特征中的任何一个或全部,其中,所述至少一个模块的所述计算机可读的指令,当由所述处理器执行时,进一步导致所述移动计算设备与所述网状网络的所述至少一个元素建立通信信道。
示例132:此示例包括示例128的特征中的任何一个或全部,其中,所述至少一个模块包括其中包括计算机可读NM指令的网络管理(NM)模块,所述NM指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:监视由所述移动计算设备通过所述网状网络发送的数据量以及由所述移动计算设备通过所述网状网络接收到的数据量这两者中的至少一项;以及,将由所述移动计算设备通过所述网状网络发送的数据量以及由所述移动计算设备接收到的数据量,或其组合,与奖赏相关联。
示例133:此示例包括示例1的特征中的任何一个或全部,进一步包括支持多种通信模式的多个无线通信接口,其中,所述至少一个模块包括其中包括计算机可读CM指令的通信管理(CM)模块,所述CM指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:响应于接收到传输数据信号的请求,导致所述移动计算设备分析所述请求,并向所述数据信号分配紧急级别;以及,至少部分地基于所述紧急级别,选择所述通信模式中的一项或多项。
示例134:此示例包括示例133的特征中的任何一个或全部,其中,所述多个通信模式包括相对昂贵的通信模式以及相对便宜的通信模式,以及,所述CM指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:至少部分地基于所述紧急级别与预定的紧急阈值的比较,选择所述相对昂贵的通信模式或所述相对便宜的通信模式,用于传输所述数据信号。
示例135:此示例包括示例的特征中的任何一个或全部,其中,所述CM指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:当所述紧急级别符合或超出所述预定的紧急阈值时,选择所述相对昂贵的通信模式,用于传输所述数据信号;以及,当所述紧急级别是小于所述预定的紧急阈值时,选择所述相对便宜的通信模式,用于传输所述数据信号。
示例136:此示例包括示例134的特征中的任何一个或全部,其中,所述CM指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:当所述紧急级别符合或超出所述预定的紧急阈值时,选择所述相对昂贵的通信模式以及所述相对便宜的通信模式,用于传输所述数据信号。
示例137:此示例包括示例1的特征中的任何一个或全部,进一步包括支持多种通信模式的多个无线通信接口,其中,所述至少一个模块包括其中包括计算机可读CM指令的通信管理(CM)模块,所述CM指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:响应于由在所述移动计算设备上执行的应用发送数据信号的请求,至少部分地基于所述应用的带宽要求与通过所述多个通信模式中的一种或多种对所述移动计算设备可用的带宽的比较,选择所述多种通信模式中的一种或多种,用于所述数据信号的传输。
示例138:此示例包括示例137的特征中的任何一个或全部,其中,所述CM指令,当由所述处理器执行时,进一步导致所述移动计算设备执行下列操作,包括:至少部分地基于预定的服务质量的维护,选择所述通信模式中的一种或多种,用于传输所述数据信号。
示例139:此示例包括示例1的特征中的任何一个或全部,其中,所述至少一个模块包括其中包括计算机可读CM指令的缓存管理(CM)模块,所述CM指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:将数据信号传输到至少一个服务器,所述数据信号包括上下文信息,并被配置成导致所述服务器至少部分地基于所述上下文信息,确定要在至少一个推送操作中推到所述移动计算设备的数据类型以及本质中的至少一项。
示例140:根据此示例,提供了一种屏幕,包括显示器、处理器以及具有存储在其中的设备配对模块的存储器,所述设备配对模块包括计算机可读配对指令,其中,所述配对指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:将标识符消息传输到移动计算设备,所述标识符消息被配置成导致所述移动计算设备标识所述屏幕;以及,通过有线或无线通信接口中的至少一项,与所述移动计算设备建立配对的连接;以及,响应于通过所述配对的连接,从所述移动计算设备接收到包含至少视频信息的媒体信号,在所述显示器上显示所述视频信息。
示例141:此示例包括示例140的特征中的任何一个或全部,其中,所述处理器是从包括下列各项的组中选出的:专用集成电路、通用处理器,以及其组合。
示例142:此示例包括示例140的特征中的任何一个或全部,其中,所述配对指令,当被执行时,进一步导致所述屏幕执行下列操作,包括:监视是否从所述移动计算设备接收到配对请求消息;以及,响应于所述配对请求消息,将所述标识符消息传输到所述移动计算设备,并与所述移动计算设备建立所述配对的连接。
示例143:此示例包括示例140的特征中的任何一个或全部,其中,所述屏幕进一步被配置成通过所述配对的连接,从所述移动计算设备接收分组,所述分组包括已编码的视频信息。
示例144:此示例包括示例140的特征中的任何一个或全部,进一步包括存储在所述存储器中的视频解码(VD)模块,所述VD模块包括计算机可读VD指令,所述VD指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:响应于接收到所述分组,解码所述分组,以获得包含在其中的所述视频信息。
示例145:此示例包括示例140的特征中的任何一个或全部,进一步包括存储在所述存储器中的输入设备监视(IDM)模块,所述IDM模块包括计算机可读IDM指令,所述IDM指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:响应于从输入设备接收到输出信号,监视所述输出信号中看是否有输入设备事件;以及,响应于检测到输入设备事件,通过所述配对的连接,将所述输入设备事件报告给所述移动计算设备。
示例146:此示例包括示例145的特征中的任何一个或全部,其中,所述输出信号是由所述屏幕通过与所述输入设备的有线连接,与所述输入设备的无线连接,或其组合,接收到的。
示例147:此示例包括示例145的特征中的任何一个或全部,其中,所述输入设备事件包括鼠标点击、鼠标释放、触摸输入、滑动操作,以及运动操作中的至少一种。
示例148:此示例包括示例145的特征中的任何一个或全部,其中,所述IDM指令,当由所述处理器执行时,进一步导致所述屏幕至少部分地通过将包含输入设备报告的报告信号传输到所述移动计算设备,将所述输入设备事件报告给所述移动计算设备,所述输入设备报告标识所述输入设备事件。
示例149:此示例包括示例148的特征中的任何一个或全部,其中:所述有线接口包括媒体接口;所述配对指令,当由所述处理器执行时,导致所述屏幕至少部分地使用所述媒体接口,与所述移动计算设备建立所述配对的连接;以及,所述IDM指令,当由所述处理器执行时,导致所述屏幕至少部分地通过所述配对的连接,来传输所述报告信号。
示例150:此示例包括示例148的特征中的任何一个或全部,其中,所述输入设备报告包括指定所述输入设备事件的位置的像素坐标以及指定所述输入设备事件的类型的像素坐标中的至少一项。
示例151:此示例包括示例148的特征中的任何一个或全部,其中,所述输入设备报告指定在鼠标点击操作过程中鼠标指针的位置、在鼠标点击以及释放操作过程中鼠标指针的位置、触摸屏上的触摸的位置,以及滑动操作的像素坐标中的至少一项。
示例152:此示例包括示例148的特征中的任何一个或全部,进一步包括存储在所述存储器中的无线通信接口以及反向信道(BC)模块,所述BC模块包括计算机可读BC指令,所述BC指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:在所述无线通信接口和所述移动计算设备之间建立无线反向信道;以及,通过所述无线反向信道,将所述报告信号传输到所述移动计算设备。
示例153:此示例包括示例140的特征中的任何一个或全部,其中,所述屏幕是从包括下列各项的组中选出的:无声的屏幕以及智能屏幕。
示例154:此示例包括示例153的特征中的任何一个或全部,其中,所述屏幕是无声屏幕,是从包括下列各项的组中选出的:电视机、计算机监视器、显示器对接器,以及投影仪。
示例155:此示例包括示例153的特征中的任何一个或全部,其中,所述屏幕是智能屏幕,是从包括下列各项的组中选出的:膝上型计算机显示器、耦合到台式计算机的显示器、电子阅读器显示器、平板个人计算机显示器、个人数据助理显示器、智能电话显示器,以及蜂窝电话显示器。
示例156:此示例包括示例153的特征中的任何一个或全部,其中,所述屏幕构成下列各项中的至少一项的一部分:汽车、飞机、自行车、摩托车、雪上汽车、火车、医疗设备、仰视显示器、控制接口、电子购物门户、自助服务终端、餐厅菜单、双筒望远镜、眼镜、食品准备工具、音频设备、医疗记录系统、金融交易系统、徽章,以及衣服。
示例157:此示例包括示例140的特征中的任何一个或全部,其中,有线通信接口包括媒体接口,所述媒体接口包括数字视频接口(DVI)、高清晰度多媒体接口(HDMI),以及通用串行总线(接口)中的至少一种。
示例158:此示例包括示例140的特征中的任何一个或全部,其中,所述有线通信接口包括媒体接口,所述媒体接口包括被配置成与移动计算设备的对应的连接器耦合的对接连接器。
示例159:此示例包括示例140的特征中的任何一个或全部,进一步包括被配置成物理地与移动计算设备耦合的屏幕主体。
示例160:此示例包括示例159的特征中的任何一个或全部,其中,所述有线通信接口包括媒体接口,所述媒体接口包括至少一个对接连接器,所述至少一个对接连接器被配置成当所述屏幕主体以及所述移动计算设备物理地耦合时与所述移动计算设备的对应的连接器耦合。
示例161:此示例包括示例159的特征中的任何一个或全部,其中,所述屏幕主体包括可接收地啮合所述移动计算设备的凹陷。
示例162:此示例包括示例160的特征中的任何一个或全部,其中,所述屏幕主体包括可接收地啮合所述移动计算设备的凹陷,所述对接连接器位于所述凹陷内。
示例163:此示例包括示例140的特征中的任何一个或全部,进一步包括无线通信接口,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕至少部分地利用所述无线通信接口,建立所述配对的连接。
示例164:此示例包括示例163的特征中的任何一个或全部,其中,所述无线通信接口被配置成使用短程通信来进行通信。
示例165:此示例包括示例164的特征中的任何一个或全部,其中,所述无线通信接口被配置成使用近场通信来进行通信。
示例166:此示例包括示例164的特征中的任何一个或全部,进一步包括被配置成物理地与移动计算设备耦合的屏幕主体,以便所述无线通信接口位于所述移动计算设备的对应的无线通信接口的附近。
示例167:此示例包括示例166的特征中的任何一个或全部,其中,所述屏幕主体包括被配置成可接收地啮合所述移动计算设备的凹陷,其中,所述无线计算接口位于所述凹陷内或附近。
示例168:此示例包括示例140的特征中的任何一个或全部,其中,所述标识符消息包括所述屏幕的因特网协议地址。
示例169:此示例包括示例140的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕执行下列操作,包括:响应于从所述移动计算设备接收到配对密钥,至少部分地使用所述配对密钥,建立所述配对的连接。
示例170:此示例包括示例169的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕在所述显示器上显示所述配对密钥。
示例171:此示例包括示例169的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕执行下列操作,包括:判断所述配对密钥是否有效;当所述配对密钥无效时,结束与所述移动计算设备的配对;以及,当所述配对密钥有效时,至少部分地通过与所述移动计算设备建立配对会话以及通信信道,建立所述配对的连接。
示例172:此示例包括示例171的特征中的任何一个或全部,其中,所述通信信道是双向的。
示例173:此示例包括示例171的特征中的任何一个或全部,其中,所述通信信道是单向的。
示例174:此示例包括示例171的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕当所述配对密钥有效时,使用所述无线通信协议来建立所述配对的连接。
示例175:此示例包括示例174的特征中的任何一个或全部,其中,所述无线通信协议包括传输控制协议(TCP)、通用数据报协议(UDP),以及因特网协议中的至少一项。
示例176:此示例包括示例171的特征中的任何一个或全部,进一步包括存储在所述存储器中的反向信道(BC)模块,所述BC模块包括计算机可读BC指令,所述BC指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:在所述无线通信接口和所述移动计算设备之间建立无线反向信道。
示例177:此示例包括示例176的特征中的任何一个或全部,其中,所述BC指令,当由所述处理器执行时,进一步导致所述屏幕至少部分地通过与所述移动计算设备协商用于所述反向信道中的互相支持的套接字,建立所述反向信道。
示例178:此示例包括示例176的特征中的任何一个或全部,其中,所述互相支持的套接字是实时流传输协议(RTSP)套接字。
示例179:此示例包括示例140的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕执行下列操作,包括:监视是否从所述移动计算设备接收到公共配对请求,所述公共配对请求包括所述配对请求消息,响应于接收到所述公共配对请求,在预定的时间长度内忽略其他配对请求消息以及公共配对请求。
示例180:此示例包括示例179的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕执行下列操作,包括:响应于接收到所述公共配对请求,监视是否接收到连接密钥。
示例181:此示例包括示例180的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕执行下列操作,包括:当在预定的时间段内没有接收到所述连接密钥时,结束与所述移动计算设备的配对;以及,响应于在预定的时间段内接收到所述连接密钥,将所述连接密钥传输到所述移动计算设备。
示例182:此示例包括示例140的特征中的任何一个或全部,其中,所述配对的连接是所述屏幕和所述移动计算设备之间的对等的连接。
示例183:此示例包括示例179的特征中的任何一个或全部,还包括存储在所述存储器中的连接密钥,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕执行下列操作,包括:响应于接收到所述公共配对请求,将所述连接密钥传输到所述移动计算设备。
示例184:此示例包括示例140的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕执行下列操作,包括:在建立所述配对的连接之前,验证所述移动计算设备的用户的身份。
示例185:此示例包括示例140的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕执行下列操作,包括:通过将配对请求消息传输到所述移动计算设备,发起与所述移动计算设备的配对。
示例186:此示例包括示例185的特征中的任何一个或全部,进一步包括传感器和无线通信接口,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕执行下列操作,包括:监视所述传感器以及所述无线通信接口中的至少一项的输出,以便检测兼容的移动计算设备的存在;响应于检测到兼容的移动计算设备,至少部分地通过将所述配对请求消息传输到所述兼容的移动计算设备,发起与所述兼容的移动计算设备的配对。
示例187:此示例包括示例185的特征中的任何一个或全部,其中,所述配对请求消息包括所述屏幕的标识符,以及由所述屏幕支持的通信模式的描述。
示例188:此示例包括示例185的特征中的任何一个或全部,进一步包括无线通信接口,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕使用所述无线通信接口和短程通信协议,传输所述配对请求消息。
示例189:此示例包括示例185的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕执行下列操作,包括:在建立所述配对的连接之前,与所述移动计算设备建立第一级别连接;通过所述第一级别连接,尝试与所述移动计算设备建立信任的根;当在预定的时间段内没有建立信任的根时,结束与所述移动计算设备的配对;以及,当在预定的时间段内建立了信任的根时,继续与所述移动计算设备建立所述配对的连接。
示例190:此示例包括示例189的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕执行下列操作,包括:在建立所述配对的连接之前,验证所述移动计算设备的用户的身份;当在预定的时间段内没有验证所述用户的所述身份时,结束与所述移动计算设备的配对;以及,当在预定的时间段内验证了所述用户的所述身份时,继续与所述移动计算设备建立所述配对的连接。
示例191:此示例包括示例140的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕执行下列操作,包括:将所述屏幕置于配对模式;以及发射锁定信号,所述锁定信号被配置成导致所述屏幕附近的至少一个第二屏幕进入锁定状态,在该锁定状态,所述第二屏幕变得不可用于与所述移动计算设备配对。
示例192:此示例包括示例191的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕响应于从所述移动计算设备接收到配对请求消息,向所述屏幕作出的输入,或其组合,将所述屏幕置于所述配对模式。
示例193:此示例包括示例191的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕执行下列操作,包括:传输被配置成从所述锁定状态释放所述至少一个第二屏幕的释放信号。
示例194:此示例包括示例140的特征中的任何一个或全部,其中,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕执行下列操作,包括:将所述屏幕置于配对模式;响应于在指定的时间段内从不同移动计算设备接收到多个配对请求消息,忽略所述多个配对请求消息;响应于在指定的时间段内从单一移动计算设备接收到单一配对标识符消息,向所述移动计算设备传输所述标识符消息。
示例195:此示例包括示例140的特征中的任何一个或全部,其中:所述视频信息包括封装在所述移动计算设备上执行的应用和操作系统两者中的至少一个的帧缓冲器的帧的分组;以及,所述存储器具有存储在其中的视频解码(VD)模块,所述VD模块包括计算机可读VD指令,所述VD指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:响应于接收到所述媒体信号,处理所述分组,以获得所述帧,并在所述显示器上显示所述视频信息。
示例196:此示例包括示例195的特征中的任何一个或全部,其中,所述帧是压缩的,所述VD指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:在将所述视频信息显示在所述显示器上之前,解压缩所述帧。
示例197:此示例包括示例196的特征中的任何一个或全部,其中,所述分组包括标识应用于所述帧的压缩的类型以及级别中的至少一项的标头,所述VD指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:在解压缩所述帧之前,检测所述标头,以确定压缩的所述类型以及级别中的至少一项。
示例198:此示例包括示例195的特征中的任何一个或全部,其中,所述帧是经加密的帧,所述VD指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:解密所述经加密的帧,以获得所述帧。
示例199:此示例包括示例140的特征中的任何一个或全部,其中:所述视频信息包括从在所述移动计算设备上执行的应用和操作系统中的至少一项的帧缓冲器的捕捉到的帧产生的视频,所述视频以视频格式编码;以及,所述存储器具有存储在其中的视频解码(VD)模块,所述VD模块包括计算机可读VD指令,所述VD指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:响应于接收到所述媒体信号,解码所述视频,并在所述显示器上显示所述视频信息。
示例200:此示例包括示例199的特征中的任何一个或全部,其中,所述视频是压缩的,所述VD指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:在将所述视频信息显示在所述显示器上之前,解压缩所述视频。
示例201:此示例包括示例199的特征中的任何一个或全部,其中,所述屏幕被配置成根据实时流传输协议(RTSP)来接收所述媒体信号。
示例202:此示例包括示例199的特征中的任何一个或全部,其中,所述视频是经加密的视频,所述VD指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:解密所述经加密的视频,以获得所述视频。
示例203:此示例包括示例140的特征中的任何一个或全部,进一步包括存储在所述存储器中的多信道视频传输(MC)模块,所述MC模块包括计算机可读MC指令,所述MC指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:监视所述视频信息在所述屏幕上的显示的显示性能特征;以及,将报告传输到所述移动计算设备,其中,所述报告包括所述性能特征,并被配置成导致所述移动计算设备将所述显示性能特征与预定的性能阈值进行比较,判断所述屏幕的性能是否令人满意。
示例204:此示例包括示例203的特征中的任何一个或全部,其中,所述MC指令,当由所述处理器执行时,进一步导致所述屏幕执行下列操作,包括:当所述移动计算设备的所述性能不能令人满意时,使用额外的传输模式,与所述移动计算设备建立补充连接,所述额外的传输模式不同于被用来建立所述配对的连接的第一传输模式;以及,响应于通过所述配对的连接和所述补充连接接收到视频信息,显示所述视频信息。
示例205:此示例包括示例203的特征中的任何一个或全部,其中,所述显示性能特征包括由所述显示器显示的所述视频信息的每秒帧数、由所述显示器丢弃的所述视频信息的帧数、以及所述显示的帧更新之间的时间,以及从所述移动计算设备接收到视频信息的速度这几项中的至少一项。
示例206:此示例包括示例204的特征中的任何一个或全部,其中,第一传输模式是短程通信模式,而所述额外的传输模式是长程通信模式。
示例207:此示例包括示例205的特征中的任何一个或全部,其中,所述第一传输模式包括所述移动计算设备和所述屏幕之间的无线连接,而所述额外的传输模式包括所述移动计算设备和所述屏幕之间的有线连接。
示例208:此示例包括示例205的特征中的任何一个或全部,其中,所述第一传输模式包括第一类型的无线通信,而所述第二传输模式包括不同于所述第一类型的无线通信的第二类型的无线通信。
示例209:此示例包括示例140的特征中的任何一个或全部,进一步包括存储在所述存储器中的朝向控制(OC)模块,所述OC模块包括计算机可读OC指令,所述OC指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:响应于接收到传达在所述移动计算设备上执行的应用和操作系统中的至少一项的显示输出的一个或多个预期的参数的变化的消息,改变所述视频信息和所述显示器中的至少一项的至少一个特征,以便所述视频信息按照符合所述显示输出的所述一个或多个预期的参数的变化的方式,显示在所述显示器上。
示例210:此示例包括示例209的特征中的任何一个或全部,其中,所述消息包括定义所述应用的显示输出的所述一个或多个预期的参数的所述变化的标头,所述OC指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:检测所述标头,以确定所述显示输出的预期的参数的变化。
示例211:此示例包括示例210的特征中的任何一个或全部,其中,所述消息还包括定义所述一个或多个预期的参数的新预期的值的正文部分,所述OC指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:检测所述消息的所述正文,以确定所述一个或多个预期的参数的所述新预期的值;以及,改变所述视频信息以及所述显示器中的至少一项的至少一个特征,以便所述视频信息以符合所述一个或多个预期的参数的新预期的值的方式,显示在所述显示器上。
示例212:此示例包括示例209的特征中的任何一个或全部,其中,所述应用的显示输出的所述一个或多个预期的参数包括由所述应用预期的所述显示输出的朝向、由所述应用预期的所述显示输出的缩放比例,以及由所述应用预期的所述显示输出的分辨率中的至少一项。
示例213:此示例包括示例209的特征中的任何一个或全部,其中,所述OC指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:响应于所述消息,结束其中显示了所述视频信息的现有的窗口,并打开一个新的窗口,用于根据一个或多个预期的参数的所述变化,显示所述视频信息。
示例214:此示例包括示例213的特征中的任何一个或全部,进一步包括:用于在成功地建立所述配对的连接时补充所述移动计算设备的能力的一个或多个资源;存储在所述存储器中的至少一个模块,所述至少一个模块包括计算机可读BC指令,所述指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:响应于所述配对的连接建立,准许所述移动计算设备断言对所述一个或多个资源的控制。
示例215:此示例包括示例140的特征中的任何一个或全部,进一步包括存储在所述存储器中的至少一个模块,其中,所述至少一个模块包括计算机可读指令,所述指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:响应于下列各项中的至少一项,从所述存储器中删除通过所述配对的连接接收到的所述视频信息及其他信息的至少一部分:从所述移动计算设备接收到终止信号;预定的时间段的期满;检测到结束所述配对的连接的结束事件;以及,检测到超出预定的延迟阈值的通信延迟。
示例216:此示例包括示例140的特征中的任何一个或全部,还包括受保护的环境以及其中包括存储在所述存储器中的计算机可读指令的至少一个模块,其中:所述屏幕被配置成存储通过所述受保护的环境中的所述配对的连接接收到的视频信息、应用,及其他信息中的至少一项;所述计算机可读的指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:响应于下列各项中的至少一项,从所述受保护的环境中删除通过所述配对的连接接收到的所述视频信息及其他信息的至少一部分:从所述移动计算设备接收到终止信号;预定的时间段的期满;检测到结束所述配对的连接的结束事件;以及,检测到超出预定的延迟阈值的通信延迟。
示例217:此示例包括示例140的特征中的任何一个或全部,进一步包括存储在所述存储器中的加密模块,所述加密模块包括计算机可读加密指令,所述加密指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:对所述视频数据进行加密,以产生经加密的视频数据;以及,将所述经加密的视频数据存储在所述存储器中,直到所述视频数据将显示在所述显示器上;以及,当所述视频数据将显示在所述显示器上时,解密所述经加密的视频数据,并将所述视频数据显示在所述显示器上。
示例218:此示例包括示例217的特征中的任何一个或全部,其中,所述加密指令,当由所述处理器执行时,进一步导致所述屏幕执行下列额外的操作,包括:在所述视频数据显示在所述显示器上之后,重新加密所述视频数据,以产生重新加密的视频数据,并将所述重新加密的视频数据存储在所述存储器中。
示例219:根据此示例,提供了一种方法,所述方法包括,利用移动计算设备:通过所述移动计算设备和所述目标屏幕之间的配对的连接,将包括由在所述移动计算设备上执行的应用和在所述移动计算设备上执行的操作系统中的至少一项所生成的至少视频信息的视频信号传输到目标屏幕;其中:通过有线和无线通信接口中的至少一项,建立所述配对的连接;所述移动计算设备缺乏整体的显示器;所述目标屏幕不与所述移动计算设备形成整体;以及,所述视频信号被配置成导致所述目标屏幕显示所述视频信息。
示例220:此示例包括示例219的特征中的任何一个或全部,其中,所述目标屏幕是无声的屏幕以及智能屏幕中的至少一种。
示例221:此示例包括示例219的特征中的任何一个或全部,其中,所述移动计算设备是蜂窝电话、电子阅读器、护目镜、移动游戏控制台、上网本计算机、笔记本电脑、因特网设备、个人数字助理、便携式媒体播放器、便携式媒体记录器、智能电话、平板个人计算机、超移动个人计算机,以及可穿戴计算设备中的一种。
示例222:此示例包括示例219的特征中的任何一个或全部,其中,所述配对的连接是至少部分地通过对接所述移动计算设备与所述目标屏幕来建立的。
示例223:此示例包括示例222的特征中的任何一个或全部,其中,所述移动计算设备包括第一对接连接器,所述目标屏幕包括第二对接连接器,而所述对接包括将所述第一对接连接器与所述第二对接连接器匹配。
示例224:此示例包括示例223的特征中的任何一个或全部,其中,所述第二对接连接器在屏幕主体的凹陷内,所述凹陷被配置成可接收地啮合所述移动计算设备。
示例225:此示例包括示例219的特征中的任何一个或全部,其中,所述移动计算设备包括有线媒体接口,所述方法还包括至少部分地利用所述有线媒体接口来建立所述配对的连接。
示例226:此示例包括示例219的特征中的任何一个或全部,其中,所述视频信息包括在所述移动计算设备上执行的所述应用和在所述移动计算设备上执行的所述操作系统两者中的至少一个的帧缓冲器的帧,传输所述视频信息包括:利用所述移动计算设备,捕捉所述帧;将所述帧封装到分组中;以及,传输所述视频信号,所述视频信号包含所述分组;其中,所述视频信号被配置成导致所述目标屏幕处理所述分组,并获取所述视频信息。
示例227:此示例包括示例226的特征中的任何一个或全部,进一步包括,在将所述帧封装在所述分组中之前,利用所述移动计算设备,压缩所述帧。
示例228:此示例包括示例226的特征中的任何一个或全部,其中,所述移动计算设备包括硬件压缩引擎,其中,所述封装是利用所述硬件压缩引擎来执行的。
示例229:此示例包括示例的特征中的任何一个或全部,还包括:响应于检测到结束事件,结束利用移动计算设备对所述视频信号的所述传输。
示例230:此示例包括示例227的特征中的任何一个或全部,还包括:利用所述移动计算设备,监视至少一项被监视的性能度量;以及,至少部分地基于所述至少一个被监视的性能度量,动态地调整应用于所述帧的压缩的级别以及类型中的至少一项。
示例231:此示例包括示例230的特征中的任何一个或全部,所述至少一个被监视的性能度量包括移动计算设备处理器性能、移动计算设备处理器负载、所述目标屏幕的性能、所述配对的连接的带宽消耗、所述移动计算设备的功率消耗、所述目标屏幕的功率消耗、以及所述移动计算设备的电池电量中的至少一项。
示例232:此示例包括示例230的特征中的任何一个或全部,还包括:利用所述移动计算设备,利用指定应用于所述帧的压缩的所述类型以及级别中的至少一项的信息,注释所述分组中的每一个分组。
示例233:此示例包括示例230的特征中的任何一个或全部,还包括,利用所述移动计算设备:将所述被监视的性能度量与预定的性能阈值进行比较;至少部分地基于所述被监视的性能度量符合或超出所述预定的性能阈值,动态地调整或维持应用于所述帧的压缩的级别以及类型中的所述至少一项。
示例234:此示例包括示例230的特征中的任何一个或全部,其中,所述被监视的性能度量包括所述配对的连接的所述带宽使用以及对所述移动计算设备的处理器施加的负载,所述方法还包括,利用所述移动计算设备:动态地调整应用于所述帧的压缩所述类型以及级别中的至少一项,以在对所述移动计算设备的所述处理器施加的所述负载以及所述配对的连接的所述带宽使用之间实现所希望的平衡。
示例235:此示例包括示例219的特征中的任何一个或全部,其中,所述视频信息包括在所述移动计算设备上执行的所述应用和在所述移动计算设备上执行的所述操作系统两者中的至少一个的帧缓冲器的帧,传输所述视频信息包括:利用所述移动计算设备,捕捉所述帧;将所述帧转换为视频;以及,根据预定的视频传输协议,传输所述视频信号,所述视频信号包含所述视频。
示例236:此示例包括示例235的特征中的任何一个或全部,其中,将所述帧转换为视频是由所述移动计算设备使用预定的视频转换协议来执行的。
示例237:此示例包括示例235的特征中的任何一个或全部,其中,所述预定的视频传输协议是视频流传输协议。
示例238:此示例包括示例237的特征中的任何一个或全部,其中,所述视频流传输协议是实时流传输协议(RTSP)。
示例239:此示例包括示例235的特征中的任何一个或全部,进一步包括,在传输所述视频信号之前,利用所述移动计算设备,来压缩所述视频。
示例240:此示例包括示例239的特征中的任何一个或全部,其中,所述移动计算设备包括硬件压缩引擎,所述方法还包括利用所述硬件压缩引擎来执行所述压缩。
示例241:此示例包括示例235的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:响应于检测到结束事件,结束利用所述移动计算设备的所述视频信号的传输。
示例242:此示例包括示例219的特征中的任何一个或全部,进一步包括,利用所述计算设备:监视所述目标屏幕的显示性能特征;将所述显示性能特征与预定的性能阈值进行比较,以判断所述目标屏幕的性能是否令人满意;当所述目标屏幕的所述性能令人满意时,继续传输所述视频信息,而不必作修改;当所述目标屏幕的所述性能不能令人满意时,使用额外的传输模式,与所述目标屏幕建立补充连接,所述额外的传输模式不同于被用来建立所述配对的连接的第一传输模式;以及,使用所述配对的连接以及所述补充连接,将所述视频信号传输到所述目标屏幕。
示例243:此示例包括示例242的特征中的任何一个或全部,其中,所述显示性能特征包括由所述目标屏幕显示的所述视频信息的每秒帧数、由所述目标屏幕丢弃的所述视频信息的帧数、,以及所述目标屏幕的帧更新之间的时间这几项中的至少一项。
示例244:此示例包括示例242的特征中的任何一个或全部,其中,第一传输模式是短程通信模式,而所述额外的传输模式是长程通信模式。
示例245:此示例包括示例242的特征中的任何一个或全部,其中,所述第一传输模式包括所述移动计算设备和所述目标屏幕之间的无线连接,而所述额外的传输模式包括所述移动计算设备和所述目标屏幕之间的有线连接。
示例246:此示例包括示例242的特征中的任何一个或全部,其中,所述第一传输模式包括第一类型的无线通信,而所述第二传输模式包括不同于所述第一类型的无线通信的第二类型的无线通信。
示例247:此示例包括示例219的特征中的任何一个或全部,其中,所述视频信息具有第一朝向,所述移动计算设备具有第二朝向,所述方法还包括,利用所述移动计算设备,管理相对于所述第二朝向的第一朝向。
示例248:此示例包括示例247的特征中的任何一个或全部,所述移动计算设备至少部分地通过导致所述操作系统向所述应用报告,所述第二朝向是固定的,来管理所述第一朝向。
示例249:此示例包括示例247的特征中的任何一个或全部,其中,所述移动计算设备至少部分地通过导致所述应用要求所述视频信息与所述第二朝向一致,来管理所述第一朝向。
示例250:此示例包括示例247的特征中的任何一个或全部,其中,所述视频信息至少部分地由所述应用产生,所述方法还包括,利用所述移动计算设备:监视所述应用的显示输出的一个或多个预期的参数的改变;以及,响应于检测到所述一个或多个预期的参数的变化,将传达所述应用的预期的显示器输出的一个或多个预期的参数的所述变化的消息传输到所述目标屏幕。
示例251:此示例包括示例250的特征中的任何一个或全部,其中,所述消息包括定义所述应用的显示输出的所述一个或多个预期的参数的所述变化的标头。
示例252:此示例包括示例251的特征中的任何一个或全部,其中,所述消息还包括定义所述一个或多个预期的参数的新预期的值的正文部分。
示例253:此示例包括示例250的特征中的任何一个或全部,其中,所述应用的显示输出的所述一个或多个预期的参数包括由所述应用预期的所述显示输出的朝向、由所述应用预期的所述显示输出的缩放比例,以及由所述应用预期的所述显示输出的分辨率中的至少一项。
示例254:此示例包括示例250的特征中的任何一个或全部,其中,所述消息进一步被配置成导致所述目标屏幕结束其中显示了所述视频信息的现有的窗口,并打开一个新的窗口,用于根据所述应用的显示输出的一个或多个预期的参数的所述变化,显示所述视频信息。
示例255:此示例包括示例250的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:监视是否从所述目标屏幕接收到确认一个或多个预期的参数的所述变化的确认消息。
示例256:此示例包括示例219的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:响应于接收到已编码的信息,将所述已编码的信息路由到所述目标显示器,供解码。
示例257:此示例包括示例256的特征中的任何一个或全部,其中,所述已编码的信息包括已编码的视频。
示例258:此示例包括示例256的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:处理附属于所述已编码的信息的信息,以产生framebuffer输出。
示例259:此示例包括示例219的特征中的任何一个或全部,其中,所述移动计算设备还包括将一个或多个输入设备输出与一个或多个动作相关联的第一数据库,其中,所述方法还包括,利用所述移动计算设备:监视是否从至少一个输入设备接收到输入设备输出,以便确定检测到的输入设备输出;将所述检测到的输入设备输出与所述第一数据库中的输入设备输出进行比较;以及,当所述检测到的输入设备输出匹配或关联到所述输入设备数据库中的输入设备输出时,执行关联到所述第一数据库中的所述输入设备输出的所述一个或多个动作。
示例260:此示例包括示例259的特征中的任何一个或全部,其中,所述至少一个输入设备包括鼠标、键盘、轨迹球、跟踪板,以及运动传感器中的至少一种。
示例261:此示例包括示例259的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:当没有检测到关联到第一数据库中的输入设备输出的检测到的输入设备输出时,判断预定的时间段是否已经期满;当所述预定的时间段没有期满时,继续监视关联到所述数据库中的输入设备输出的检测到的输入设备输出;以及,当所述预定的时间段已经期满时,结束监视所述检测到的输入设备输出。
示例262:此示例包括示例259的特征中的任何一个或全部,其中,所述第一数据库还包括修改与所述第一数据库中的至少一个输入设备输出相关联的所述至少一个动作的至少一个上下文修改符,以及,所述方法还包括,利用所述移动计算设备:当检测到的输入设备输出匹配或关联到第一数据库中的输入设备输出时,判断至少一个上下文修改符是否存在;以及,执行根据第一数据库以及上下文修改符中的输入设备输出的动作。
示例263:此示例包括示例262的特征中的任何一个或全部,其中,上下文修改符包括在移动计算设备上执行的应用的状态、检测到的输入设备输出的大小、由至少一个输入设备报告的输入动作中的至少一项,以及其组合。
示例264:此示例包括示例262的特征中的任何一个或全部,其中,所述至少一个输入设备包括按钮以及运动传感器,输入动作包括按压按钮、上下文修改符包括输入动作以及来自运动传感器的输出两者的组合。
示例265:此示例包括示例259的特征中的任何一个或全部,其中,所述应用包括社交媒体应用;所述第一数据库将第一输入设备输出与所述社交媒体应用的执行的发起相关联,将第二输入设备输出与动作在所述社交媒体应用内的执行相关联;以及,所述方法还包括,利用所述移动计算设备:当所述检测到的输入设备输出匹配或关联到所述第一输入设备输出时,执行所述社交媒体应用;以及,当所述检测到的输入设备输出匹配或关联到所述第二输入设备输出时,在所述社交媒体应用内执行动作。
示例266:此示例包括示例259的特征中的任何一个或全部,其中,所述移动计算设备还包括将一个或多个输入设备输出与所述移动计算设备的一个或多个经认证的用户相关联的安全性数据库,其中,所述方法还包括,利用所述移动计算设备:将所述检测到的输入设备输出与所述安全性数据库中的输入设备输出进行比较;以及,当所述检测到的输入设备输出匹配或关联到所述安全性数据库中的输入设备输出时,授权对所述移动计算设备的访问。
示例267:此示例包括示例259的特征中的任何一个或全部,其中,所述移动计算设备包括受保护的环境,所述安全性数据库存储在所述受保护的环境中。
示例268:此示例包括示例226的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:至少部分地基于输入设备的输出,将数字指针插入到所述帧缓冲器中的某一位置,以便所述视频信息包括所述数字指针。
示例269:此示例包括示例268的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:至少部分地基于所述输入设备的输出的检测到的变化,改变所述数字指针的所述位置。
示例270:此示例包括示例269的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:将所述输入设备的所述输出转换为二维屏幕表面坐标;至少部分地基于所述二维屏幕表面坐标,将所述数字指针插入到所述帧缓冲器中的某一位置;以及,至少部分地基于所述二维屏幕表面坐标的检测到的变化,改变所述数字指针的所述位置。
示例271:此示例包括示例268的特征中的任何一个或全部,其中,所述至少一个输入设备包括鼠标、键盘、轨迹球、跟踪板,以及运动传感器中的至少一种。
示例272:此示例包括示例268的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:监视所述输入设备的所述输出,看是否有检测到的输入设备事件;以及,将所述检测到的输入设备事件报告给所述应用以及所述操作系统中的至少一项,以便导致所述应用、所述操作系统,或其组合执行根据所述检测到的输入设备事件的动作。
示例273:此示例包括示例272的特征中的任何一个或全部,其中,所述应用包括至少一个社交媒体应用。
示例274:此示例包括示例272的特征中的任何一个或全部,其中,所述检测到的输入设备事件包括所述至少一个输入设备的运动、利用所述至少一个输入设备的手势、利用所述至少一个输入设备的拖动,以及对所述至少一个输入设备上的按钮的按压中的至少一项。
示例275:此示例包括示例268的特征中的任何一个或全部,其中,所述输入设备通过有线连接、无线连接或其组合,耦合到所述移动计算设备。
示例276:此示例包括示例268的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:监视是否从所述目标屏幕接收到所述输入设备的所述输出;以及,至少部分地基于所述输入设备的所述输出,将数字指针插入到所述帧缓冲器中的某一位置。
示例277:此示例包括示例276的特征中的任何一个或全部,其中,所述配对的连接是双向的,所述方法还包括,利用所述移动计算设备,监视是否通过至少所述配对的连接,接收到所述输入设备的所述输出。
示例278:此示例包括示例276的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:监视是否通过至少在所述移动计算设备以及所述目标屏幕之间建立的反向信道,接收到所述输入设备的所述输出,所述反向信道不同于所述配对的连接。
示例279:此示例包括示例276的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:将对应于所述输入设备的所述输出的像素坐标缩放到所述操作系统以及所述应用中的至少一项的原始分辨率。
示例280:此示例包括示例276的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:响应于从所述目标屏幕接收到包括其中编码了所述输入设备的所述输出的分组的数据信号,解码所述分组,以获得所述输入设备的所述输出。
示例281:此示例包括示例219的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:与至少一个额外的非整体目标屏幕建立额外的配对的连接;以及,将所述视频信号传输到所述目标屏幕以及所述至少一个额外的非整体目标屏幕。
示例282:此示例包括示例281的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:限制所述目标屏幕和所述至少一个额外的非整体目标屏幕具有对所述移动计算设备上的资源的访问的程度,对所述移动计算设备的控制,或其组合。
示例283:此示例包括示例282的特征中的任何一个或全部,其中,所述限制访问包括,利用所述移动计算设备:将访问控制令牌传输到所述目标屏幕以及所述至少一个额外的非整体目标屏幕中的一项或多项,所述访问控制令牌被配置成启用指定程度的对所述移动计算设备上的资源的访问,指定程度的对所述移动计算设备的控制,或其组合。
示例284:此示例包括示例283的特征中的任何一个或全部,其中,所述移动计算设备响应于利用所述移动计算设备作出的手势,传输所述访问控制令牌。
示例285:此示例包括示例282的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:监视是否从所述目标屏幕和所述至少一个额外的非整体目标屏幕中的一项或多项接收到信号,所述信号指定至少一个操作的执行;以及,响应于接收到所述信号,执行所述至少一个操作。
示例286:此示例包括示例283的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:将所述访问控制令牌发布到所述目标屏幕以及所述至少一个额外的非整体目标屏幕中的一项或多项;监视是否从所述目标屏幕和所述至少一个额外的非整体目标屏幕中的一项或多项接收到信号,所述信号指定用于在所述移动计算设备上执行的至少一个操作;以及,响应于接收到所述信号:当所述信号是从不拥有所述访问控制令牌的目标屏幕接收到的时,忽略所述操作;以及,当所述信号是从拥有所述访问控制令牌的目标屏幕接收到的时,利用所述移动计算设备执行所述操作。
示例287:此示例包括示例286的特征中的任何一个或全部,其中,所述操作涉及所述移动计算设备上的资源,以及,所述方法还包括,利用所述移动计算设备:在执行所述操作之前,判断拥有所述访问控制令牌的目标屏幕是否被授予足够的访问或足够的对所述资源的控制用以执行所述操作。
示例288:此示例包括示例283的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:通过改变发布到所述目标屏幕以及所述至少一个额外的非整体目标屏幕中的一项或多项的访问控制令牌,撤销发布到所述目标屏幕以及所述至少一个额外的非整体目标屏幕中的一项或多项的访问控制令牌,或其组合,修改对所述移动计算设备上的资源的访问的所述指定的程度,对所述移动计算设备的控制的所述指定的程度,或其组合。
示例289:此示例包括示例219的特征中的任何一个或全部,其中:所述目标屏幕包括多个目标屏幕;所述移动计算设备被配置成与所述多个目标屏幕中的每一个可互换地对接;以及,建立所述配对的连接包括将所述移动计算设备与所述目标屏幕中的至少一个对接。
示例290:此示例包括示例289的特征中的任何一个或全部,其中,所述移动计算设备包括被配置成与所述多个目标屏幕中的每一个的对应的连接器匹配的至少一个对接连接器。
示例291:此示例包括示例289的特征中的任何一个或全部,其中,所述移动计算设备被配置成可接收地啮合在所述多个目标屏幕中的每一个的对接凹陷内。
示例292:此示例包括示例219的特征中的任何一个或全部,其中,所述目标屏幕包括一个或多个资源,以及,所述方法还包括,利用所述移动计算设备:断言对所述一个或多个资源的控制。
示例293:此示例包括示例292的特征中的任何一个或全部,其中,所述一个或多个资源包括补充电源、输入设备、传感器,以及蜂窝式无线装置中的至少一项。
示例294:此示例包括示例292的特征中的任何一个或全部,其中,所述一个或多个资源包括至少一个从包括摄像机、全球定位传感器、生物特征扫描器的组中选择的传感器。
示例295:此示例包括示例219的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:尝试建立到广域网的直接有线或无线连接;当不能实现到所述广域网的直接连接时,将数据信号发送到网状网络的一个或多个元素,所述数据信号被配置成导致所述一个或多个元素将所述数据信号路由到所述广域网,无论直接还是通过经由所述广域网的至少一个额外的元件来路由所述数据信号。
示例296:此示例包括示例295的特征中的任何一个或全部,其中,网状网络的所述元素包括额外的移动计算设备、目标屏幕、WiFi网络、以及电视空白网络中的至少一项。
示例297:此示例包括示例295的特征中的任何一个或全部,其中,所述移动计算设备被配置成直接或通过所述网状网络的所述元素中的一项或多项,从所述广域网接收数据信号。
示例298:此示例包括示例295的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:与所述网状网络的所述至少一个元素建立通信信道。
示例299:此示例包括示例295的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:监视由所述移动计算设备通过所述网状网络发送的数据量以及由所述移动计算设备通过所述网状网络接收到的数据量这两者中的至少一项;以及,将由所述移动计算设备通过所述网状网络发送的数据量以及由所述移动计算设备接收到的数据量,或其组合,与奖赏相关联。
示例300:此示例包括示例219的特征中的任何一个或全部,其中,所述移动计算设备包括支持多种通信模式的多个无线通信接口,以及,所述方法还包括,利用所述移动计算设备:响应于接收到传输数据信号的请求,分析所述请求,并向所述数据信号分配紧急级别;以及,至少部分地基于所述紧急级别,选择所述通信模式中的一项或多项。
示例301:此示例包括示例300的特征中的任何一个或全部,其中,所述多个通信模式包括相对昂贵的通信模式以及相对便宜的通信模式,以及,所述方法还包括,利用所述移动计算设备:至少部分地基于所述紧急级别与预定的紧急阈值的比较,选择所述相对昂贵的通信模式或所述相对便宜的通信模式,用于传输所述数据信号。
示例302:此示例包括示例301的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:当所述紧急级别符合或超出所述预定的紧急阈值时,选择所述相对昂贵的通信模式,用于传输所述数据信号;以及,当所述紧急级别是小于所述预定的紧急阈值时,选择所述相对便宜的通信模式,用于传输所述数据信号。
示例303:此示例包括示例301的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:当所述紧急级别符合或超出所述预定的紧急阈值时,选择所述相对昂贵的通信模式以及所述相对便宜的通信模式,用于传输所述数据信号。
示例304:此示例包括示例219的特征中的任何一个或全部,其中,所述移动计算设备包括支持多种通信模式的多个无线通信接口,以及,所述方法还包括,利用所述移动计算设备:响应于由在所述移动计算设备上执行的应用发送数据信号的请求,至少部分地基于所述应用的带宽要求与通过所述多个通信模式中的一种或多种对所述移动计算设备可用的带宽的比较,选择所述多种通信模式中的一种或多种,用于所述数据信号的传输。
示例305:此示例包括示例304的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:至少部分地基于预定的服务质量的维护,选择所述通信模式中的一种或多种,用于传输所述数据信号。
示例306:此示例包括示例219的特征中的任何一个或全部,进一步包括,利用所述移动计算设备:将包括上下文信息的数据信号传输到至少一个服务器,所述数据信号被配置成导致所述服务器至少部分地基于所述上下文信息,确定要在至少一个推送操作中推到所述移动计算设备的数据类型以及本质中的至少一项。
示例307:根据此示例,提供了至少一个计算机可读介质,包括计算机可读指令,所述指令在由移动计算设备的处理器执行时,导致所述移动计算设备执行示例219-306中的任一项所述的方法。
示例308:根据此示例,提供了一种方法,所述方法包括,利用屏幕:利用包括显示器的屏幕,传输标识符消息,所述标识符消息被配置成导致移动计算设备标识所述屏幕;通过有线和无线接口中的至少一项,与所述移动计算设备建立配对的连接;以及,响应于通过所述配对的连接,利用所述屏幕接收到包含视频信息的媒体信号,在所述显示器上显示所述视频信息;其中:所述移动计算设备缺乏整体的显示器;以及,所述视频信息是由在所述移动计算设备上执行的应用以及在所述移动计算设备上执行的操作系统中的至少一个所生成的。
示例309:此示例包括示例308的特征中的任何一个或全部,其中,所述屏幕包括从包括下列各项的组中选出的处理器:专用集成电路、通用处理器,以及其组合。
示例310:此示例包括示例308的特征中的任何一个或全部,进一步包括,利用所述屏幕:监视是否从所述移动计算设备接收到配对请求消息;以及,响应于所述配对请求消息,将所述标识符消息传输到所述移动计算设备,并与所述移动计算设备建立所述配对的连接。
示例311:此示例包括示例308的特征中的任何一个或全部,其中,所述媒体信号包括编码所述视频信息的分组,以及,该方法还包括:利用所述屏幕来解码,以获得包含在其中的所述视频信息。
示例312:此示例包括示例308的特征中的任何一个或全部,进一步包括,利用所述屏幕:响应于从输入设备接收到输出信号,监视所述输出信号中看是否有输入设备事件;以及,响应于检测到输入设备事件,通过所述配对的连接,将所述输入设备事件报告到所述移动计算设备。
示例313:此示例包括示例312的特征中的任何一个或全部,其中,所述屏幕被配置成通过与所述输入设备的有线连接,与所述输入设备的无线连接,或其组合,接收所述输出信号。
示例314:此示例包括示例312的特征中的任何一个或全部,其中,所述输入设备事件包括鼠标点击、鼠标释放、触摸输入、滑动操作,以及运动操作中的至少一种。
示例315:此示例包括示例312的特征中的任何一个或全部,进一步包括,利用所述屏幕:至少部分地通过传输包含输入设备报告的报告信号,将所述输入设备事件报告给所述移动计算设备,所述输入设备报告标识所述输入设备事件。
示例316:此示例包括示例315的特征中的任何一个或全部,其中:所述有线接口包括媒体接口,所述方法还包括,利用所述屏幕:至少部分地使用所述媒体接口,与所述移动计算设备建立所述配对的连接;以及,至少部分地通过所述配对的连接,传输所述报告信号。
示例317:此示例包括示例315的特征中的任何一个或全部,其中,所述输入设备报告包括指定所述输入设备事件的位置的像素坐标以及指定所述输入设备事件的类型的像素坐标中的至少一项。
示例318:此示例包括示例315的特征中的任何一个或全部,其中,所述屏幕包括无线通信接口,所述方法还包括,利用所述屏幕:在所述无线通信接口和所述移动计算设备之间建立无线反向信道;以及,通过所述无线反向信道,将所述报告信号传输到所述移动计算设备。
示例319:此示例包括示例308的特征中的任何一个或全部,其中,所述屏幕是从包括下列各项的组中选出的:无声的屏幕以及智能屏幕。
示例320:此示例包括示例308的特征中的任何一个或全部,其中,所述屏幕是从包括下列各项的组中选出的无声的屏幕:电视机、计算机监视器、显示器对接器以及投影仪。
示例321:此示例包括示例308的特征中的任何一个或全部,其中,所述屏幕是从包括下列各项的组中选出的智能屏幕:膝上型计算机显示器、耦合到台式计算机的显示器、电子阅读器显示器、平板个人计算机显示器、个人数据助理显示器、智能电话显示器,以及蜂窝电话显示器。
示例322:此示例包括示例319的特征中的任何一个或全部,其中,所述屏幕构成下列各项中的至少一项的一部分:汽车、飞机、自行车、摩托车、雪上汽车、火车、医疗设备、仰视显示器、控制接口、电子购物门户、自助服务终端、餐厅菜单、双筒望远镜、眼镜、食品准备工具、音频设备、医疗记录系统、金融交易系统、徽章以及衣服。
示例323:此示例包括示例308的特征中的任何一个或全部,其中,有线通信接口包括媒体接口,所述媒体接口包括数字视频接口(DVI)、高清晰度多媒体接口(HDMI)以及通用串行总线(接口)中的至少一种。
示例324:此示例包括示例308的特征中的任何一个或全部,其中,所述有线通信接口包括媒体接口,所述媒体接口包括被配置成与移动计算设备的对应的连接器耦合的对接连接器。
示例325:此示例包括示例308的特征中的任何一个或全部,其中,所述屏幕包括被配置成物理地与所述移动计算设备耦合的屏幕主体。
示例326:此示例包括示例325的特征中的任何一个或全部,其中,所述有线通信接口包括媒体接口,所述媒体接口包括至少一个对接连接器,所述至少一个对接连接器被配置成当所述屏幕主体以及所述移动计算设备物理地耦合时与所述移动计算设备的对应的连接器耦合。
示例327:此示例包括示例325的特征中的任何一个或全部,其中,所述屏幕主体包括可接收地啮合所述移动计算设备的凹陷。
示例328:此示例包括示例326的特征中的任何一个或全部,其中,所述屏幕主体包括可接收地啮合所述移动计算设备的凹陷,所述对接连接器位于所述凹陷内。
示例329:此示例包括示例308的特征中的任何一个或全部,进一步包括,利用所述屏幕:至少部分地利用所述无线通信接口,建立所述配对的连接。
示例330:此示例包括示例329的特征中的任何一个或全部,其中,所述无线通信接口被配置成使用短程通信来进行通信。
示例331:此示例包括示例330的特征中的任何一个或全部,其中,所述短程通信包括近场通信。
示例332:此示例包括示例330的特征中的任何一个或全部,其中,所述屏幕包括被配置成物理地与所述移动计算设备耦合的屏幕主体,以便所述无线通信接口位于所述移动计算设备的对应的无线通信接口附近。
示例333:此示例包括示例332的特征中的任何一个或全部,其中,所述屏幕主体包括被配置成可接收地啮合所述移动计算设备的凹陷,其中,所述无线计算接口位于所述凹陷内或附近。
示例334:此示例包括示例308的特征中的任何一个或全部,其中,所述标识符消息包括所述屏幕的因特网协议地址。
示例335:此示例包括示例308的特征中的任何一个或全部,其中,所述屏幕还包括存储了所述屏幕的标识符的射频标识符(RFID)标记,所述标识符消息包括所述标识符,所述方法包括至少部分地使用所述RFID标记,来传输所述标识符消息。
示例336:此示例包括示例308的特征中的任何一个或全部,进一步包括,利用所述屏幕:响应于从所述移动计算设备接收到配对密钥,至少部分地使用所述配对密钥,建立所述配对的连接。
示例337:此示例包括示例336的特征中的任何一个或全部,进一步包括,利用所述屏幕:响应于从所述移动计算设备接收到所述配对密钥,在所述显示器上显示所述配对密钥。
示例338:此示例包括示例336的特征中的任何一个或全部,进一步包括,利用所述屏幕:判断所述配对密钥是否有效;当所述配对密钥无效时,结束与所述移动计算设备的配对;以及,当所述配对密钥有效时,至少部分地通过与所述移动计算设备建立配对会话以及通信信道,建立所述配对的连接。
示例339:此示例包括示例338的特征中的任何一个或全部,其中,所述通信信道是双向的。
示例340:此示例包括示例338的特征中的任何一个或全部,其中,所述通信信道是单向的。
示例341:此示例包括示例338的特征中的任何一个或全部,进一步包括,利用所述屏幕:当所述配对密钥有效时,使用所述无线通信协议来建立所述配对的连接。
示例342:此示例包括示例341的特征中的任何一个或全部,其中,所述无线通信协议包括传输控制协议(TCP)、通用数据报协议(UDP),以及因特网协议中的至少一项。
示例343:此示例包括示例338的特征中的任何一个或全部,进一步包括,利用所述屏幕:在所述无线通信接口和所述移动计算设备之间建立无线反向信道。
示例344:此示例包括示例343的特征中的任何一个或全部,进一步包括,利用所述屏幕:至少部分地通过与所述移动计算设备协商用于所述无线反向信道中的互相支持的套接字,建立所述无线反向信道。
示例345:此示例包括示例344的特征中的任何一个或全部,其中,所述互相支持的套接字是实时流传输协议(RTSP)套接字。
示例346:此示例包括示例308的特征中的任何一个或全部,进一步包括,利用所述屏幕:监视是否从所述移动计算设备接收到公共配对请求,所述公共配对请求包括所述配对请求消息;响应于接收到所述公共配对请求,在预定的时间长度内忽略其他配对请求消息以及公共配对请求。
示例347:此示例包括示例346的特征中的任何一个或全部,进一步包括,利用所述屏幕:响应于接收到所述公共配对请求,监视是否接收到连接密钥。
示例348:此示例包括示例347的特征中的任何一个或全部,进一步包括,利用所述屏幕:当在预定的时间段内没有接收到所述连接密钥时,结束与所述移动计算设备的配对;以及,响应于在预定的时间段内接收到所述连接密钥,将所述连接密钥传输到所述移动计算设备。
示例349:此示例包括示例308的特征中的任何一个或全部,其中,所述配对的连接是所述屏幕和所述移动计算设备之间的对等的连接。
示例350:此示例包括示例346的特征中的任何一个或全部,其中,所述屏幕包括在其中存储了连接密钥的存储器,所述方法还包括,利用所述屏幕:响应于接收到所述公共配对请求,将所述连接密钥传输到所述移动计算设备。
示例351:此示例包括示例308的特征中的任何一个或全部,进一步包括,利用所述屏幕:在建立所述配对的连接之前,验证所述移动计算设备的用户的身份。
示例352:此示例包括示例308的特征中的任何一个或全部,进一步包括,利用所述屏幕:通过将配对请求消息传输到所述移动计算设备,发起与所述移动计算设备的配对。
示例353:此示例包括示例352的特征中的任何一个或全部,其中,所述屏幕包括传感器以及所述无线通信接口,所述方法进一步包括,利用所述屏幕:监视所述传感器以及所述无线通信接口中的至少一项的输出,以便检测兼容的移动计算设备的存在;响应于检测到兼容的移动计算设备,至少部分地通过将所述配对请求消息传输到所述兼容的移动计算设备,发起与所述兼容的移动计算设备的配对。
示例354:此示例包括示例352的特征中的任何一个或全部,其中,所述配对请求消息包括所述屏幕的标识符,以及由所述屏幕支持的通信模式的描述。
示例355:此示例包括示例352的特征中的任何一个或全部,其中,所述屏幕包括所述无线通信接口,所述方法还包括,利用所述屏幕:使用所述无线通信接口以及短程通信协议,传输所述配对请求消息。
示例356:此示例包括示例352的特征中的任何一个或全部,进一步包括,利用所述屏幕:在建立所述配对的连接之前,与所述移动计算设备建立第一级别的连接;通过所述第一级别连接,尝试与所述移动计算设备建立信任的根;当在预定的时间段内没有建立信任的根时,结束与所述移动计算设备的配对;以及,当在预定的时间段内建立了信任的根时,继续与所述移动计算设备建立所述配对的连接。
示例357:此示例包括示例356的特征中的任何一个或全部,进一步包括,利用所述屏幕:在建立所述配对的连接之前,验证所述移动计算设备的用户的身份;当在预定的时间段内没有验证所述用户的所述身份时,结束与所述移动计算设备的配对;以及,当在预定的时间段内验证了所述用户的所述身份时,继续与所述移动计算设备建立所述配对的连接。
示例358:此示例包括示例308的特征中的任何一个或全部,进一步包括,利用所述屏幕:将所述屏幕置于配对模式;以及,传输锁定信号,所述锁定信号被配置成导致所述屏幕附近的至少一个第二屏幕进入锁定状态,在该锁定状态,所述第二屏幕变得不可用于与所述移动计算设备配对。
示例359:此示例包括示例358的特征中的任何一个或全部,其中,响应于从所述移动计算设备接收到配对请求消息,向所述屏幕作出的输入,或其组合,将所述屏幕置于所述配对模式。
示例360:此示例包括示例358的特征中的任何一个或全部,进一步包括,利用所述屏幕:传输被配置成从所述锁定状态释放所述至少一个第二屏幕的释放信号。
示例361:此示例包括示例308的特征中的任何一个或全部,进一步包括,利用所述屏幕:将所述屏幕置于配对模式;响应于在指定的时间段内从不同移动计算设备接收到多个配对请求消息,忽略所述多个配对请求消息;响应于在指定的时间段内从单一移动计算设备接收到单一配对标识符消息,向所述移动计算设备传输所述标识符消息。
示例362:此示例包括示例308的特征中的任何一个或全部,其中,所述视频信息包括封装所述应用和所述操作系统两者中的至少一个的帧缓冲器的帧的分组,所述方法还包括,利用所述屏幕:响应于接收到所述媒体信号,处理所述分组,以获得所述帧;以及,在所述显示器上显示所述视频信息。
示例363:此示例包括示例362的特征中的任何一个或全部,其中,所述帧是压缩的,所述方法还包括,利用所述屏幕:在将所述视频信息显示在所述显示器上之前,解压缩所述帧。
示例364:此示例包括示例363的特征中的任何一个或全部,其中,所述分组包括标识应用于所述帧的压缩的类型以及级别中的至少一项的标头,所述方法还包括,利用所述屏幕:在解压缩所述帧之前,检测所述标头,以确定压缩的所述类型以及级别中的至少一项。
示例365:此示例包括示例362的特征中的任何一个或全部,其中,所述帧是经加密的帧,所述方法还包括,利用所述屏幕:解密所述经加密的帧,以获得所述帧。
示例366:此示例包括示例308的特征中的任何一个或全部,其中,所述视频信息包括从所述应用以及所述操作系统中的至少一个的帧缓冲器的捕捉到的帧产生的视频,所述视频是以视频格式编码的,所述方法还包括,利用所述屏幕:响应于接收到所述媒体信号,解码所述视频,并在所述显示器上显示所述视频信息。
示例367:此示例包括示例366的特征中的任何一个或全部,其中,所述视频是压缩的,所述方法还包括,利用所述屏幕:在将所述视频信息显示在所述显示器上之前,解压缩所述视频。
示例368:此示例包括示例366的特征中的任何一个或全部,其中,所述屏幕被配置成根据实时流传输协议(RTSP)来接收所述媒体信号。
示例369:此示例包括示例366的特征中的任何一个或全部,其中,所述视频是经加密的视频,所述方法还包括,利用所述屏幕:解密所述经加密的视频,以获得所述视频。
示例370:此示例包括示例308的特征中的任何一个或全部,进一步包括,利用所述屏幕:监视所述视频信息在所述屏幕上的显示的显示性能特征;以及,将报告传输到所述移动计算设备,其中,所述报告包括所述性能特征,并被配置成导致所述移动计算设备将所述显示性能特征与预定的性能阈值进行比较,判断所述屏幕的性能是否令人满意。
示例371:此示例包括示例370的特征中的任何一个或全部,进一步包括,利用所述屏幕:当所述移动计算设备的所述性能不能令人满意时,使用额外的传输模式,与所述移动计算设备建立补充连接,所述额外的传输模式不同于被用来建立所述配对的连接的第一传输模式;以及,响应于通过所述配对的连接和所述补充连接接收到视频信息,显示所述视频信息。
示例372:此示例包括示例370的特征中的任何一个或全部,其中,所述显示性能特征包括由所述显示器显示的所述视频信息的每秒帧数、由所述显示器丢弃的所述视频信息的帧数、以及所述显示的帧更新之间的时间,以及从所述移动计算设备接收到视频信息的速度这几项中的至少一项。
示例373:此示例包括示例371的特征中的任何一个或全部,其中,第一传输模式是短程通信模式,而所述额外的传输模式是长程通信模式。
示例374:此示例包括示例372的特征中的任何一个或全部,其中,所述第一传输模式包括所述移动计算设备和所述屏幕之间的无线连接,而所述额外的传输模式包括所述移动计算设备和所述屏幕之间的有线连接。
示例375:此示例包括示例372的特征中的任何一个或全部,其中,所述第一传输模式包括第一类型的无线通信,而所述第二传输模式包括不同于所述第一类型的无线通信的第二类型的无线通信。
示例376:此示例包括示例308的特征中的任何一个或全部,进一步包括,利用所述屏幕:响应于接收到传达在所述移动计算设备上执行的所述应用和所述操作系统中的至少一项的显示输出的一个或多个预期的参数的变化的消息,改变所述视频信息和所述显示器中的至少一项的至少一个特征,以便所述视频信息根据所述显示输出的所述一个或多个预期的参数的变化的方式,显示在所述显示器上。
示例377:此示例包括示例376的特征中的任何一个或全部,其中,所述消息包括定义所述应用的显示输出的所述一个或多个预期的参数的所述变化的标头,所述方法还包括,利用所述屏幕:检测所述标头,以确定所述显示输出的预期的参数的变化。
示例378:此示例包括示例377的特征中的任何一个或全部,其中,所述消息还包括定义所述一个或多个预期的参数的新预期的值的正文部分,所述方法还包括,利用所述屏幕:检测所述消息的所述正文,以确定所述一个或多个预期的参数的所述新预期的值;以及,改变所述视频信息以及所述显示器中的至少一项的至少一个特征,以便所述视频信息以符合所述一个或多个预期的参数的新预期的值的方式,显示在所述显示器上。
示例379:此示例包括示例376的特征中的任何一个或全部,其中,所述应用的显示输出的所述一个或多个预期的参数包括由所述应用预期的所述显示输出的朝向、由所述应用预期的所述显示输出的缩放比例,以及由所述应用预期的所述显示输出的分辨率中的至少一项。
示例380:此示例包括示例376的特征中的任何一个或全部,进一步包括,利用所述屏幕:响应于所述消息,结束其中显示了所述视频信息的现有的窗口,并打开一个新的窗口,用于根据一个或多个预期的参数的所述变化,显示所述视频信息。
示例381:此示例包括示例376的特征中的任何一个或全部,进一步包括,利用所述屏幕:响应于接收到所述消息,将确认消息传输到所述移动计算设备,其中,所述确认消息被配置成确认一个或多个预期的参数的变化。
示例382:根据此示例,提供了至少一个在其中存储了计算机可读指令的计算机可读介质,其中,所述指令,当由屏幕的处理器执行时,导致所述屏幕执行示例308到381中的任何一个的方法。
此处以及在附录中所使用的术语和表达被用作描述的术语,在使用这样的术语和表达时,没有排除所示出的和所描述的特征的任何等效内容(或其某些部分),应该认识到,在本发明的范围内,各种修改都是可以的。相应地,本发明应该被理解为涵盖所有这样的等效内容。

Claims (27)

1.一种包括处理器和存储器的移动计算设备,所述存储器包括至少一个模块,所述模块包括计算机可读指令,所述指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:
通过有线和无线通信接口中的至少一种,与至少一个目标屏幕建立配对的连接,其中所述目标屏幕是不与所述移动计算设备形成整体的屏幕;
通过至少所述配对的连接,将由在所述移动计算设备上执行的应用和在所述移动计算设备上执行的操作系统(OS)中的至少一项所生成的至少视频信息传输到所述目标屏幕;
其中所述移动计算设备缺乏整体的显示器,
其中所述至少一个模块包括访问控制模块,所述访问控制模块具有访问指令,所述访问指令在被执行时导致所述移动计算设备执行访问管理操作,所述访问管理操作包括向所述目标屏幕传送令牌,其中所述令牌被配置成指定所述目标屏幕对所述移动计算设备上的所述应用、所述移动计算设备上的所述操作系统(OS)或其组合能控制的程度。
2.如权利要求1所述的移动计算设备,包括无线通信接口,其中所述至少一个模块包括其中包括计算机可读指令的输入设备模块,所述指令,当由所述处理器执行时,导致所述移动计算设备通过所述无线通信接口,以无线方式与至少一个输入设备配对。
3.如权利要求1所述的移动计算设备,其特征在于,所述至少一个模块进一步包括具有计算机可读配对指令的设备配对模块,所述指令,当由所述处理器执行时,导致所述移动计算设备至少通过执行配对操作,建立所述配对的连接,所述配对操作包括:
导致所述移动计算设备将请求消息传输到所述目标屏幕,所述请求消息被配置成导致所述目标屏幕将标识符传输到所述移动计算设备;以及
导致所述移动计算设备从至少所述标识符,确定所述目标屏幕的身份。
4.如权利要求3所述的移动计算设备,其特征在于,所述配对指令,当由所述处理器执行时,进一步导致移动计算设备至少部分地通过与所述目标屏幕建立配对会话和单向通信信道,来建立所述配对的连接;以及
所述配对操作进一步包括:导致所述移动计算设备与所述目标屏幕建立通信反向信道。
5.如权利要求1所述的移动计算设备,其特征在于,所述视频信息包括在所述移动计算设备上执行的所述应用和在所述移动计算设备上执行的所述操作系统(OS)两者中的至少一个的帧缓冲器的帧,所述至少一个模块包括其中包括计算机可读FT指令的framethrower(FT)模块,其中所述FT指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:
捕捉所述帧;
将所述帧封装到分组中;以及
通过所述配对的连接,将所述分组传输到所述目标屏幕。
6.如权利要求5所述的移动计算设备,其特征在于,所述FT指令,当由所述处理器执行时,进一步导致所述移动计算设备执行下列操作,包括:
在将所述帧封装到所述分组之前,压缩所述帧;
监视至少一个被监视的性能度量;以及
至少部分地基于所述至少一个被监视的性能度量,动态地调整应用于所述帧的压缩的级别以及类型中的至少一项。
7.如权利要求1所述的移动计算设备,其特征在于,所述视频信息包括在所述移动计算设备上执行的所述应用和在所述移动计算设备上执行的所述操作系统(OS)两者中的至少一个的帧缓冲器的帧,所述至少一个模块包括其中包括计算机可读ST指令的streamthrower(ST)模块,其中所述ST指令,当由所述处理器执行时,导致所述移动计算设备执行下列操作,包括:
捕捉所述帧;
将所述帧转换为视频;以及
根据预定的视频传输协议,通过所述配对的连接,将包含所述视频的信号传输到所述目标屏幕。
8.如权利要求1所述的移动计算设备,进一步包括:
将一个或多个输入设备输出与一个或多个动作相关联的第一数据库;
其中所述至少一个模块包括其中包括计算机可读手势指令的手势模块,其中所述手势指令,当被执行时,导致所述移动计算设备执行下列操作,包括:
监视是否从至少一个输入设备接收到输入设备输出,以便确定检测到的输入设备输出;
将所述检测到的输入设备输出与所述第一数据库中的输入设备输出进行比较;以及
当所述检测到的输入设备输出匹配或关联到输入设备数据库中的输入设备输出时,执行关联到所述第一数据库中的所述输入设备输出的所述一个或多个动作。
9.如权利要求1-8中任一项所述的移动计算设备,其特征在于,所述目标屏幕包括一个或多个资源,所述至少一个模块的所述计算机可读指令,当被执行时,导致所述移动计算设备断言对所述资源的控制。
10.一种屏幕,包括显示器、处理器,以及具有设备配对模块的存储器,在其上存储了计算机可读配对指令,其中所述配对指令,当被执行时,导致所述屏幕执行下列操作,包括:
监视是否从移动计算设备接收到配对请求消息;以及
响应于所述配对请求消息,将标识符消息传输到所述移动计算设备,所述标识符消息被配置成导致所述移动计算设备标识所述屏幕;以及
通过有线或无线通信接口中的至少一项,与所述移动计算设备建立配对的连接;
从所述移动计算设备接收令牌,其中所述令牌指定目标屏幕对所述移动计算设备的资源能控制的程度,所述移动计算设备的所述资源包括所述移动计算设备上的应用、所述移动计算设备上的操作系统或其组合;以及
响应于通过所述配对的连接,从所述移动计算设备接收到包含至少视频信息的媒体信号,在所述显示器上显示所述视频信息。
11.如权利要求10所述的屏幕,其特征在于:
所述媒体信号包括封装所述视频信息的分组;
所述屏幕进一步包括存储在所述存储器中的视频解码VD模块,所述视频解码VD模块包括计算机可读视频解码VD指令,所述视频解码VD指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:
响应于接收到所述分组,解码所述分组,以获取包含在其中的所述视频信息。
12.如权利要求10所述的屏幕,进一步包括存储在所述存储器中的输入设备监视IDM模块,所述输入设备监视IDM模块包括计算机可读输入设备监视IDM指令,所述输入设备监视IDM指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:
响应于从输入设备接收到输出信号,监视所述输出信号中是否有输入设备事件;以及
响应于检测到输入设备事件,将报告信号传输到所述移动计算设备,所述报告信号包含标识所述输入设备事件的输入设备报告。
13.如权利要求10所述的屏幕,其特征在于,所述配对的连接是单向的,所述屏幕进一步包括无线通信接口以及存储在所述存储器中的反向信道BC模块,所述反向信道BC模块包括计算机可读反向信道BC指令,所述反向信道BC指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:
在所述无线通信接口和所述移动计算设备之间建立无线反向信道;以及
通过所述无线反向信道,将报告信号传输到所述移动计算设备。
14.如权利要求10所述的屏幕,其特征在于,所述配对指令,当由所述处理器执行时,进一步导致所述屏幕执行下列操作,包括,响应于从所述移动计算设备接收到配对密钥:
在所述显示器上显示所述配对密钥;
判断所述配对密钥是否有效;
至少部分地使用所述配对密钥,建立所述配对的连接;
当所述配对密钥无效时,结束与所述移动计算设备的配对;以及
当所述配对密钥有效时,至少部分地通过与所述移动计算设备建立配对会话以及通信信道,建立所述配对的连接。
15.如权利要求10所述的屏幕,其特征在于,所述视频信息包括从在所述移动计算设备上执行的应用和操作系统中的至少一项的帧缓冲器的捕捉到的帧产生的视频,所述视频以视频格式编码,其中所述屏幕进一步包括存储在所述存储器中的视频解码VD模块,所述视频解码VD模块包括计算机可读视频解码VD指令,所述视频解码VD指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:
响应于接收到所述媒体信号,解码所述视频,并在所述显示器上显示所述视频信息。
16.如权利要求10所述的屏幕,进一步包括受保护的环境和存储在所述存储器中的至少一个模块,所述至少一个模块包括计算机可读指令,所述指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:
响应于下列各项中的至少一项,从所述受保护的环境中删除通过所述配对的连接接收到的所述视频信息及其他信息的至少一部分:
从所述移动计算设备接收到终止信号;
预定的时间段的期满;
检测到结束所述配对的连接的结束事件;以及
检测到超出预定的延迟阈值的通信延迟。
17.如权利要求10-16中的任一项所述的屏幕,进一步包括:
用于在成功地建立所述配对的连接时补充所述移动计算设备的能力的一个或多个资源,所述一个或多个资源包括功率资源、通信资源、存储器资源、处理资源、输入设备,以及传感器中的至少一项;以及
存储在所述存储器中的至少一个模块,所述至少一个模块包括计算机可读指令,所述指令,当由所述处理器执行时,导致所述屏幕执行下列操作,包括:
响应于所述配对的连接建立,准许所述移动计算设备断言对所述一个或多个资源的控制。
18.一种用于移动计算设备的方法,包括:
经由有线或无线通信接口中的至少一者建立与第一目标屏幕的配对的连接,其中所述第一目标屏幕是不与移动计算设备形成整体的屏幕;
通过所述配对的连接向所述第一目标屏幕传送令牌,所述令牌指定所述第一目标屏幕对所述移动计算设备的资源能控制的程度,所述移动计算设备的所述资源包括所述移动计算设备上的应用、所述移动计算设备上的操作系统或其组合;以及
通过所述移动计算设备和所述第一目标屏幕之间的所述配对的连接,将包括由在所述移动计算设备上执行的所述应用和在所述移动计算设备上执行的所述操作系统中的至少一项所生成的至少视频信息的视频信号传输到所述第一目标屏幕;其中:
通过有线和无线通信接口中的至少一项,建立所述配对的连接;
其特征在于,所述移动计算设备缺乏整体的显示器;以及
所述视频信号被配置成导致所述第一目标屏幕显示所述视频信息。
19.如权利要求18所述的方法,其特征在于,所述视频信息包括在所述移动计算设备上执行的所述应用和在所述移动计算设备上执行的所述操作系统两者中的至少一个的帧缓冲器的帧,传输所述视频信息包括:
利用所述移动计算设备,捕捉所述帧;
将所述帧封装到分组中;以及
传输所述视频信号,所述视频信号包含所述分组;
其中所述视频信号被配置成导致所述第一目标屏幕处理所述分组,并获取所述视频信息。
20.如权利要求18所述的方法,其特征在于,所述视频信息包括在所述移动计算设备上执行的所述应用和在所述移动计算设备上执行的所述操作系统两者中的至少一个的帧缓冲器的帧,传输所述视频信息包括:
利用所述移动计算设备,捕捉所述帧;
将所述帧转换为视频;以及
根据预定的视频传输协议,传输所述视频信号,所述视频信号包含所述视频。
21.如权利要求18所述的方法,进一步包括,利用所述移动计算设备:
监视所述第一目标屏幕的显示性能特征;
将所述显示性能特征与预定的性能阈值进行比较,以判断所述第一目标屏幕的性能是否令人满意;
当所述第一目标屏幕的所述性能令人满意时,继续传输所述视频信息,而不必作修改;
当所述第一目标屏幕的所述性能不能令人满意时,使用额外的传输模式,与所述第一目标屏幕建立补充连接,所述额外的传输模式不同于用来建立所述配对的连接的第一传输模式;以及
使用所述配对的连接以及所述补充连接,将所述视频信号传输到所述第一目标屏幕。
22.如权利要求18所述的方法,其特征在于,所述移动计算设备进一步包括将一个或多个输入设备输出与一个或多个动作相关联的第一数据库,其中所述方法进一步包括,利用所述移动计算设备:
监视是否从至少一个输入设备接收到输入设备输出,以便确定检测到的输入设备输出;
将所述检测到的输入设备输出与所述第一数据库中的输入设备输出进行比较;以及
当所述检测到的输入设备输出匹配或关联到输入设备数据库中的输入设备输出时,执行关联到所述第一数据库中的所述输入设备输出的所述一个或多个动作。
23.如权利要求18所述的方法,进一步包括,利用所述移动计算设备:
至少部分地基于输入设备的输出,将数字指针插入到帧缓冲器中的某一位置,以便所述视频信息包括所述数字指针。
24.如权利要求18所述的方法,进一步包括,利用所述移动计算设备:
与至少一个额外的非整体目标屏幕建立额外的配对的连接;以及
将所述视频信号传输到所述第一目标屏幕以及所述至少一个额外的非整体目标屏幕。
25.如权利要求18至24中的任一项所述的方法,其特征在于,目标屏幕包括一个或多个资源,所述方法进一步包括,利用所述移动计算设备:
断言对所述一个或多个资源的控制。
26.一种或多种其上存储有指令的计算机可读介质,所述指令当由计算机处理器执行时使所述处理器执行如权利要求18至25中任一项所述的方法。
27.一种用于移动计算设备的设备,包括用于执行如权利要求18至25中任一项所述的方法的装置。
CN201480010020.5A 2013-03-15 2014-03-13 移动计算设备技术以及使用它的系统和方法 Active CN105144130B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361790092P 2013-03-15 2013-03-15
US61/790,092 2013-03-15
PCT/US2014/025648 WO2014151397A1 (en) 2013-03-15 2014-03-13 Mobile computing device technology and systems and methods utilizing the same

Publications (2)

Publication Number Publication Date
CN105144130A CN105144130A (zh) 2015-12-09
CN105144130B true CN105144130B (zh) 2019-01-29

Family

ID=51580948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480010020.5A Active CN105144130B (zh) 2013-03-15 2014-03-13 移动计算设备技术以及使用它的系统和方法

Country Status (10)

Country Link
US (3) US10032431B2 (zh)
EP (1) EP2972921B1 (zh)
JP (1) JP6142008B2 (zh)
KR (1) KR101707462B1 (zh)
CN (1) CN105144130B (zh)
BR (1) BR112015019749B1 (zh)
GB (1) GB2526217B (zh)
RU (1) RU2625952C2 (zh)
TW (1) TWI622926B (zh)
WO (1) WO2014151397A1 (zh)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8903978B2 (en) 2011-06-14 2014-12-02 Sonifi Solutions, Inc. Method and apparatus for pairing a mobile device to an output device
US9936459B2 (en) * 2013-08-09 2018-04-03 Empire Technology Development Llc Data relay between communication devices
JP2015070568A (ja) * 2013-09-30 2015-04-13 ソニー株式会社 情報処理装置、通信方法およびプログラム
EP3123826B1 (en) * 2014-03-27 2018-02-21 Fagerhults Belysning AB Lighting system for providing light in a room
CN105378583B (zh) 2014-04-09 2019-12-03 微软技术许可有限责任公司 用于计算设备的用铰链链接的盖子
CN105359055A (zh) 2014-04-10 2016-02-24 微软技术许可有限责任公司 计算设备的滑盖
US20150350690A1 (en) * 2014-06-02 2015-12-03 Sonifi Solutions, Inc. Implementing screen sharing functionality over a communication network
US9852559B2 (en) * 2014-06-02 2017-12-26 Schlage Lock Company Llc System and method for signifying intent for lock operation
KR20150144668A (ko) * 2014-06-17 2015-12-28 엘지전자 주식회사 이동 단말기 및 그 제어 방법
DE102014118938B4 (de) * 2014-09-01 2016-04-07 P3 Communications GmbH Nahbereichs-Kommunikationseinheit mit einem Sender und einem Empfänger
DE102014014136B3 (de) * 2014-09-20 2016-04-07 Audi Ag Verfahren und System zum Fernsteuern eines Kraftwagens
US9892628B2 (en) 2014-10-14 2018-02-13 Logitech Europe S.A. Method of controlling an electronic device
US9674335B2 (en) * 2014-10-30 2017-06-06 Microsoft Technology Licensing, Llc Multi-configuration input device
CN106063376B (zh) * 2014-11-25 2018-05-22 飞利浦灯具控股公司 基于邻近度的照明控制
KR102332934B1 (ko) * 2014-12-10 2021-11-30 삼성전자주식회사 다른 전자 장치와 연결되는 전자 장치 및 그 제어 방법
US10205776B2 (en) * 2014-12-23 2019-02-12 Xiaomi Inc. Method and device for wireless connection
CN105848086B (zh) * 2015-01-29 2019-08-16 宏达国际电子股份有限公司 物联网系统以及控制方法
JP6772187B2 (ja) 2015-02-02 2020-10-21 ティーエムエー キャピタル オーストラリア ピーティーワイ リミテッド 出入制御システムのためのシステム、方法及びコンピュータプログラム
US9680646B2 (en) 2015-02-05 2017-06-13 Apple Inc. Relay service for communication between controllers and accessories
US9654503B1 (en) * 2015-03-11 2017-05-16 Symantec Corporation Systems and methods for evaluating networks
US9936049B2 (en) * 2015-07-29 2018-04-03 Dell Products L.P. Protocol independent way for dynamically selecting data compression methods for redirected USB devices
WO2017043718A1 (ko) * 2015-09-09 2017-03-16 엘지전자 주식회사 Wfd 싱크에 의해 영상의 오리엔테이션을 변화시키는 방법 및 장치
US10261568B2 (en) * 2015-09-16 2019-04-16 Microsoft Technology Licensing, Llc Enhancing user experience relative to peripheral devices
US9912668B2 (en) 2015-09-16 2018-03-06 Microsoft Technology Licensing, Llc Enhancing user experience relative to peripheral devices
CA2999892A1 (en) 2015-09-30 2017-04-06 Sonifi Solutions, Inc. Methods and systems for enabling communications between devices
US10432540B2 (en) * 2015-11-03 2019-10-01 Comcast Cable Communications, Llc Determining quality information for a route
US9710402B2 (en) * 2015-11-10 2017-07-18 Ford Global Technologies, Llc Method and apparatus for securing and controlling individual user data
CN105721934A (zh) * 2015-11-20 2016-06-29 乐视致新电子科技(天津)有限公司 视频的无线传输设备、视频播放设备、方法及系统
KR20170072652A (ko) * 2015-12-17 2017-06-27 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
US10380037B2 (en) * 2015-12-24 2019-08-13 Intel Corporation Secure data transfer with compute stick
TWI635686B (zh) * 2016-03-14 2018-09-11 佳世達科技股份有限公司 無線充電導引系統及導引裝置
WO2017160924A1 (en) 2016-03-15 2017-09-21 Sonifi Solutions, Inc. Systems and methods for associating communication devices with output devices
US10118696B1 (en) 2016-03-31 2018-11-06 Steven M. Hoffberg Steerable rotating projectile
KR102028298B1 (ko) * 2016-04-01 2019-10-02 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 서비스 처리 방법 및 장치
US20180007428A1 (en) * 2016-06-29 2018-01-04 Intel Corporation Wireless display implementation of applications
KR102355747B1 (ko) * 2016-07-01 2022-01-27 스냅 인코포레이티드 대화형 프레젠테이션을 위한 비디오의 처리 및 포맷팅
US10999331B1 (en) 2016-07-06 2021-05-04 Google Llc Reverse discovery and pairing of client devices to a media device
US10067531B2 (en) * 2016-07-12 2018-09-04 Jpmorgan Chase Bank, N.A. Systems, methods, and devices for wireless gigabit (WiGig) computing
CN107770360A (zh) * 2016-08-18 2018-03-06 联想(北京)有限公司 终端设备的控制方法、终端设备和可穿戴设备
JP6786967B2 (ja) * 2016-09-02 2020-11-18 コニカミノルタ株式会社 情報処理装置およびプログラム
US10482034B2 (en) * 2016-11-29 2019-11-19 Microsoft Technology Licensing, Llc Remote attestation model for secure memory applications
DE102016225644A1 (de) * 2016-12-20 2018-06-21 Bundesdruckerei Gmbh Verfahren und System zur verhaltensbasierten Authentifizierung eines Nutzers
CA3048430A1 (en) 2016-12-22 2018-06-28 Sonifi Solutions, Inc. Methods and systems for implementing legacy remote and keystroke redirection
US11153236B2 (en) * 2016-12-28 2021-10-19 T-Mobile Usa, Inc. Real-time integration of machine intelligence into client messaging platforms
US10797505B2 (en) 2017-02-07 2020-10-06 Qisda (Suzhou) Co., Ltd. Wireless charging guide system, wireless charging guide method and wireless charging guide device
US20180241743A1 (en) * 2017-02-21 2018-08-23 Google Inc. Integrated Second Factor Authentication
US10536438B2 (en) * 2017-03-30 2020-01-14 Intel Corporation Secure provision of inputs to a display transmitter device
US10838681B2 (en) 2017-04-05 2020-11-17 Panasonic Avionics Corporation Screen mirroring from personal electronic devices to transportation vehicle display screens
US10779051B2 (en) * 2017-04-05 2020-09-15 Panasonic Avionics Corporation Screen mirroring from personal electronic devices to transportation vehicle display screens
US10353480B2 (en) * 2017-04-17 2019-07-16 Essential Products, Inc. Connecting assistant device to devices
US10176807B2 (en) 2017-04-17 2019-01-08 Essential Products, Inc. Voice setup instructions
US10355931B2 (en) 2017-04-17 2019-07-16 Essential Products, Inc. Troubleshooting voice-enabled home setup
US10466963B2 (en) * 2017-05-18 2019-11-05 Aiqudo, Inc. Connecting multiple mobile devices to a smart home assistant account
US10956551B2 (en) * 2017-08-07 2021-03-23 Clarius Mobile Health Corp. Systems and methods for securing operation of an ultrasound scanner
WO2019050583A1 (en) * 2017-09-06 2019-03-14 Google Llc IDENTIFICATION BASED ON AUDIO SIGNAL
TWI661395B (zh) * 2017-11-15 2019-06-01 拓連科技股份有限公司 車輛之停放位置管理系統及方法,及相關電腦程式產品
KR102424930B1 (ko) * 2017-12-11 2022-07-25 삼성전자주식회사 외부 장치에 따라 다른 서비스를 제공하는 전자 장치
US10355773B1 (en) * 2018-01-02 2019-07-16 Talal Awad Connectivity system and method for high speed aircraft internet
US11070551B2 (en) * 2018-01-18 2021-07-20 Dell Products L.P. System and method for remote access to a personal computer as a service using a remote desktop protocol and windows hello support
KR102442063B1 (ko) 2018-01-19 2022-09-13 삼성전자주식회사 데이터 통신을 제어하는 방법 및 전자 장치
US20190238154A1 (en) * 2018-01-31 2019-08-01 Hewlett Packard Enterprise Development Lp Dynamic data compressions
KR102393824B1 (ko) 2018-02-26 2022-05-04 삼성전자주식회사 복수의 통신 방식들 중 신호의 강도에 기반하여 선택된 통신 방식에 따라 데이터를 전송하는 전자 장치 및 그 작동 방법
US11283881B1 (en) * 2018-02-27 2022-03-22 NortonLifeLock Inc. Management and protection of internet of things devices
US10373484B1 (en) * 2018-03-12 2019-08-06 Ledvance Llc Apparatus system and method for controlling multiple devices simultaneously using short-range wireless communication
US11712637B1 (en) 2018-03-23 2023-08-01 Steven M. Hoffberg Steerable disk or ball
US10783929B2 (en) * 2018-03-30 2020-09-22 Apple Inc. Managing playback groups
US10993274B2 (en) 2018-03-30 2021-04-27 Apple Inc. Pairing devices by proxy
US11432187B2 (en) * 2018-04-04 2022-08-30 Charter Communications Operating, Llc Dynamic use of header compression in a wireless network
US11025595B2 (en) 2018-04-16 2021-06-01 Samsung Electronics Co., Ltd. Secure and anonymous data sharing
US11595456B2 (en) * 2018-05-31 2023-02-28 Microsoft Technology Licensing, Llc Modifying content streaming based on device parameters
US10778675B1 (en) 2018-05-31 2020-09-15 Allscripts Software, Llc Computing system for authenticating users of a shared mobile computing device
DE102018005193A1 (de) * 2018-07-02 2020-01-02 Drägerwerk AG & Co. KGaA Verfahren zum Betrieb eines Medizingeräts und nach dem Verfahren arbeitendes Medizingerät
US10775853B2 (en) 2018-10-16 2020-09-15 Texas Instruments Incorporated Secondary back surface touch sensor for handheld devices
US10826874B2 (en) 2018-11-29 2020-11-03 Mastercard International Incorporated Direct production network access using private networks and encapsulation
US11017103B2 (en) 2018-11-29 2021-05-25 International Business Machines Corporation Securely transferring computation in a disaggregated environment using a processor group key
US11330317B2 (en) 2018-12-28 2022-05-10 Dish Network L.L.C. Methods and systems for discovery of a processing offloader
CN111488566A (zh) * 2019-01-29 2020-08-04 Oppo广东移动通信有限公司 分体式电子设备控制方法、装置、电子设备及存储介质
US11810363B2 (en) 2019-01-31 2023-11-07 Toyota Motor North America, Inc. Systems and methods for image processing using mobile devices
US20220161744A1 (en) * 2019-04-12 2022-05-26 Harman International Industries, Incorporated Elastic computing for in-vehicle computing systems
US10699015B1 (en) 2020-01-10 2020-06-30 Alibaba Group Holding Limited Method and apparatus for data transmission in a tee system
CN110399235B (zh) * 2019-07-16 2020-07-28 阿里巴巴集团控股有限公司 Tee系统中的多线程数据传输方法和装置
CN115209194B (zh) 2019-08-09 2023-07-21 荣耀终端有限公司 一种通过遥控器实现一碰投屏的终端设备、方法以及系统
CN110442366B (zh) * 2019-08-09 2021-06-15 广州视源电子科技股份有限公司 一种传屏处理方法、装置、设备和存储介质
US20230144239A1 (en) * 2019-10-10 2023-05-11 Wells Fargo Bank, N.A. Modular virtual reality environment
US11438672B2 (en) * 2019-10-14 2022-09-06 Palantir Technologies Inc. Systems and methods for generating, analyzing, and storing data snippets
US11170623B2 (en) * 2019-10-29 2021-11-09 Cheryl Spencer Portable hazard communicator device
US11556654B2 (en) * 2019-12-23 2023-01-17 Mediatek Inc. Security schemes for multiple trusted-execution-environments (TEEs) and multiple rich-execution-environments (REEs)
CN111818669B (zh) * 2020-06-04 2022-09-02 青岛海信移动通信技术股份有限公司 移动终端及其数据传输方法
CN112951224B (zh) * 2021-01-26 2022-10-28 青岛海尔空调器有限总公司 语音设备及其数据处理方法
US11513757B1 (en) 2021-06-04 2022-11-29 Citrix Systems, Inc. Display screen casting to target device using casting extension
US12019772B2 (en) * 2021-09-14 2024-06-25 International Business Machines Corporation Storing diagnostic state of secure virtual machines
CN114104045B (zh) * 2021-11-29 2024-03-22 上海富欣智能交通控制有限公司 移动授权的方法、装置及电子设备
CN114143582A (zh) * 2021-12-10 2022-03-04 深圳市皓丽软件有限公司 一种同屏配对方法、同屏器及同屏配对系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1883123A (zh) * 2003-03-07 2006-12-20 诺基亚有限公司 用于识别和配对蓝牙设备的方法和设备

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6973037B1 (en) * 2000-05-04 2005-12-06 Nortel Networks Limited System and method for dynamically varying integrated services digital network (isdn) interface bandwidth
US7130584B2 (en) * 2003-03-07 2006-10-31 Nokia Corporation Method and device for identifying and pairing Bluetooth devices
DE10328310A1 (de) 2003-06-23 2005-01-13 Alstom Technology Ltd Verfahren zum Modifizieren der Kopplungsgeometrie bei Deckbandsegmenten von Turbinenlaufschaufeln
US8181022B2 (en) * 2003-06-24 2012-05-15 Realnetworks, Inc. Method and apparatus for controlling access restrictions for media playback
KR100506528B1 (ko) 2003-08-12 2005-08-03 삼성전자주식회사 전자 서명을 이용한 모바일 기기 제어 시스템 및 방법
JP4615276B2 (ja) * 2004-09-21 2011-01-19 シャープ株式会社 コンテンツデータ配信装置およびコンテンツデータ配信システム
JP2006216006A (ja) * 2005-02-06 2006-08-17 Hiroki Shima 情報出力サービス提供システム、及び該システムを構成する携帯情報端末、出力装置、中継装置
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7881582B2 (en) * 2006-06-12 2011-02-01 International Business Machines Corporation Slowing display of digital video
US8818272B2 (en) * 2007-07-18 2014-08-26 Broadcom Corporation System and method for remotely controlling bluetooth enabled electronic equipment
US8736427B2 (en) * 2008-09-03 2014-05-27 Apple Inc. Intelligent infrared remote pairing
US8689343B2 (en) * 2008-10-24 2014-04-01 Manufacturing Resources International, Inc. System and method for securely transmitting video data
JP2012507091A (ja) * 2008-10-27 2012-03-22 ソーシャル・ゲーミング・ネットワーク インターラクティブなプロキシミティディスプレイのテザーのための装置、方法およびシステム
US8418211B2 (en) * 2008-12-31 2013-04-09 Echostar Technologies L.L.C. Antenna diversity for control device applications
US20100278345A1 (en) 2009-05-04 2010-11-04 Thomas Matthieu Alsina Method and apparatus for proximity based pairing of mobile devices
US8406245B2 (en) 2009-07-09 2013-03-26 Qualcomm Incorporated System and method of transmitting content from a mobile device to a wireless display
US8693520B2 (en) * 2009-10-01 2014-04-08 Qualcomm Incorporated Channel hopping based content protection having an out-of-band communication band
US8217997B2 (en) * 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
TW201133334A (en) * 2010-03-26 2011-10-01 Cywee Group Ltd Data transmitting device, system and method using the same
US8959234B2 (en) * 2010-04-15 2015-02-17 Htc Corporation Method and system for providing online services corresponding to multiple mobile devices, server, mobile device, and computer program product
HRP20220077T1 (hr) 2010-09-13 2022-04-15 Contour Ip Holding, Llc Prijenosna digitalna video kamera konfigurirana za daljinsko upravljanje i gledanje slike
US20120083208A1 (en) 2010-09-30 2012-04-05 Apple Inc. Wireless accessory device pairing transfer between multiple host devices
US8937534B2 (en) * 2010-12-08 2015-01-20 At&T Intellectual Property I, L.P. Remote control of electronic devices via mobile device
US8446364B2 (en) 2011-03-04 2013-05-21 Interphase Corporation Visual pairing in an interactive display system
JP5878424B2 (ja) 2011-04-28 2016-03-08 アークレイ株式会社 試料測定装置および試料測定システム
US8650600B2 (en) 2011-06-20 2014-02-11 Enseo, Inc. Set top/back box, system and method for providing a remote control device
US20130031261A1 (en) * 2011-07-29 2013-01-31 Bradley Neal Suggs Pairing a device based on a visual code
US8793031B2 (en) * 2011-11-10 2014-07-29 Microsoft Corporation Data selection and sharing between a vehicle and a user device
KR101522399B1 (ko) * 2011-12-23 2015-05-22 주식회사 케이티 휴대 단말에서 외부 디스플레이 기기로의 화면 표출 방법 및 그 휴대 단말
US20140118222A1 (en) * 2012-10-30 2014-05-01 Cloudcar, Inc. Projection of content to external display devices
US9746926B2 (en) * 2012-12-26 2017-08-29 Intel Corporation Techniques for gesture-based initiation of inter-device wireless connections
WO2014104568A1 (en) * 2012-12-27 2014-07-03 Samsung Electronics Co., Ltd. Host device, display device, method of controlling host device, and method of controlling display device
US9386136B2 (en) * 2013-01-07 2016-07-05 Cloudcar, Inc. Automatic device initialization and pairing
US9247373B2 (en) * 2013-03-01 2016-01-26 Denso International America, Inc. Method of determining user intent to use services based on proximity
US9891068B2 (en) 2013-06-08 2018-02-13 Apple Inc. Mapping application search function

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1883123A (zh) * 2003-03-07 2006-12-20 诺基亚有限公司 用于识别和配对蓝牙设备的方法和设备

Also Published As

Publication number Publication date
JP6142008B2 (ja) 2017-06-07
GB201514519D0 (en) 2015-09-30
EP2972921A1 (en) 2016-01-20
US20190027111A1 (en) 2019-01-24
US20160027399A1 (en) 2016-01-28
KR20150107806A (ko) 2015-09-23
KR101707462B1 (ko) 2017-02-16
BR112015019749A2 (pt) 2020-01-28
RU2015134171A (ru) 2017-02-17
US20200082782A1 (en) 2020-03-12
BR112015019749B1 (pt) 2022-04-19
JP2016515247A (ja) 2016-05-26
US10032431B2 (en) 2018-07-24
CN105144130A (zh) 2015-12-09
TWI622926B (zh) 2018-05-01
EP2972921B1 (en) 2019-09-18
WO2014151397A1 (en) 2014-09-25
EP2972921A4 (en) 2016-11-23
TW201502969A (zh) 2015-01-16
RU2625952C2 (ru) 2017-07-19
GB2526217B (en) 2020-11-04
GB2526217A (en) 2015-11-18

Similar Documents

Publication Publication Date Title
CN105144130B (zh) 移动计算设备技术以及使用它的系统和方法
TWI815443B (zh) 用於物聯網之非暫時性機器可讀取媒體
US10839089B2 (en) Management of drone operations and security in a pervasive computing environment
US10462142B2 (en) Techniques for implementing a data storage device as a security device for managing access to resources
US11895346B2 (en) Techniques for secure video frame management
US20220318805A1 (en) Detailing secure service provider transactions
US20190297380A1 (en) Media content delivery with customization
Rajendran et al. Secured control systems through integrated IoT devices and control systems
EP3198752B1 (en) Data sharing using body coupled communication
Assaderaghi et al. Privacy and security: Key requirements for sustainable IoT growth
CN111345006B (zh) 双重绑定
US20210357657A1 (en) Methods, systems, apparatuses, and devices for facilitating managing incidents occurring in areas monitored by low data-rate monitoring devices using the low data-rate monitoring devices
WO2022147335A1 (en) Identity network representation of communications device subscriber in a digital domain
US10284617B2 (en) Dynamic segregated secure data connection
US11657852B1 (en) System and method for contextual synthetic media generation
Gupta et al. Methodologies for Improving the Quality of Service and Safety of Smart Healthcare System
US20240121608A1 (en) Apparatuses and methods for facilitating dynamic badges and identities
CA3164643A1 (en) User authentication

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant