CN105027531A - 针对无线显示设备的用户输入控制的无连接传输 - Google Patents

针对无线显示设备的用户输入控制的无连接传输 Download PDF

Info

Publication number
CN105027531A
CN105027531A CN201480005767.1A CN201480005767A CN105027531A CN 105027531 A CN105027531 A CN 105027531A CN 201480005767 A CN201480005767 A CN 201480005767A CN 105027531 A CN105027531 A CN 105027531A
Authority
CN
China
Prior art keywords
uibc
vnc
input
type
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480005767.1A
Other languages
English (en)
Other versions
CN105027531B (zh
Inventor
P·K·巴米迪帕蒂
X·黄
V·R·拉韦恩德朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105027531A publication Critical patent/CN105027531A/zh
Application granted granted Critical
Publication of CN105027531B publication Critical patent/CN105027531B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]

Abstract

无线显示(WD)系统中的宿设备可以在WD系统中的源设备与宿设备之间建立用户输入设备控制通信信道以允许宿设备向源设备发送设备控制输入。用户输入设备控制通信信道可以包括被称为Wi-Fi用户输入返回信道(UIBC)的反向信道架构，该反向信道架构已经被修改为通过UDP来传输一个或多个额外的输入类型。例如，UIBC可以被扩展为传输语音输入和VNC输入类型。

Description

针对无线显示设备的用户输入控制的无连接传输
优先权声明
本申请要求享有于2013年1月25日递交的美国临时申请No.61/757,010和于2013年1月28日提交的美国临时申请No.61/757,414的权益，通过引用的方式将每个美国临时申请的全部内容并入本文。
技术领域
本申请涉及媒体数据的传输和回放，更具体地说，涉及通过媒体数据的传输和回放进行用户输入控制。
背景技术
Wi-Fi显示(也叫做MiracastTM)是Wi-Fi联盟开发的针对无线显示的即将到来的标准。该标准基于Wi-Fi Direct。该Wi-Fi显示(WFD)标准提供了一种用于在Wi-Fi显示宿处发现、配对、连接和呈现源自Wi-Fi显示源的多媒体内容的互操作机制。可以在Wi-Fi联盟技术委员会显示任务小组的Wi-Fi显示技术规范v1.0.0(Wi-Fi Display Technical Specification v1.0.0)和Wi-Fi联盟“Wi-Fi Display Specification draft version 1.31”中找到关于当前WFD标准的额外信息，通过引用的方式将这些规范的全部内容并入本文。
无线显示(WD)系统包括源设备和一个或多个宿设备。源设备可以是能够在无线局域网中发送媒体内容的设备。宿设备可以是能够接收并呈现媒体内容的设备。源设备和宿设备可以是移动设备或有线设备。作为移动设备，例如，源设备和宿设备可以包括移动电话、具有无线通信卡的便携式计算机、个人数字助理(PDA)、便携式媒体播放器、数字图像捕捉设备(比如相机或摄像机)、或具有无线通信能力的其它闪存设备(包括所谓的“智能”电话和“智能”平板计算机或平板电脑、或其它类型的无线通信设备)。作为有线设备，例如，源设备和宿设备可以包括电视、台式计算机、监视器、投影仪、打印机、音频放大器、机顶盒、游戏操纵杆、路由器、汽车仪表盘显示器和数字视频光碟(DVD)播放器和媒体服务器。
源设备可以向参与特定媒体共享会话的一个或多个宿设备发送媒体数据，比如音频视频(AV)数据。该媒体数据可以在源设备的本地显示器和宿设备的每个显示器上回放。更具体地，每个参与宿设备呈现所接收到的媒体数据以用于在其屏幕和音频装置上显示。在一些情况中，宿设备的用户可以将用户输入应用于宿设备，比如触摸输入和远程控制输入。在一些情况中，源设备可以使用虚拟网络计算(VNC)作为基本协议以便在宿设备显示器上显示源设备应用的用户接口并将用户输入传输回移动源设备。
发明内容
一般而言，本申请涉及一种将无线显示(WD)用户输入协议扩展为包括额外输入类型，并且在一些方面中，使用无连接传输协议来传输与任何额外输入类型相对应的用户输入数据的技术。
在一个示例中，一种接收用户输入数据的方法包括发送用户输入返回信道(UIBC)参数消息，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机(VNC)输入类型中的一个；以及根据所述语音输入类型和所述VNC输入类型中的所规定的一个，接收UIBC消息中的用户输入数据。
在另一个示例中，一种发送用户输入数据的方法包括接收用户输入返回信道(UIBC)参数消息，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机(VNC)输入类型中的一个，以及根据所述语音输入类型和所述VNC输入类型中的所规定的一个来发送用户输入数据。
在再一个示例中，一种源设备包括用于发送用户输入返回信道(UIBC)参数消息的模块，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机(VNC)输入类型中的一个，以及用于根据所述语音输入类型和所述VNC输入类型中的所规定的一个来接收UIBC消息中的用户输入数据的模块。
在又一个示例中，一种宿设备包括用于接收用户输入返回信道(UIBC)参数消息的模块，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机(VNC)输入类型中的一个，以及用于根据所述语音输入类型和所述VNC输入类型中的所规定的一个来发送用户输入数据的模块。
在还有一个示例中，一种源设备包括一个或多个处理器，其中，所述一个或多个处理器被配置为发送用户输入返回信道(UIBC)参数消息，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机(VNC)输入类型中的一个，以及根据所述语音输入类型和所述VNC输入类型中的所规定的一个来接收UIBC消息中的用户输入数据。
在另一个示例中，一种宿设备包括一个或多个处理器，其中，所述一个或多个处理器被配置为接收用户输入返回信道(UIBC)参数消息，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机(VNC)输入类型中的一个，以及根据所述语音输入类型和所述VNC输入类型中的所规定的一个来发送用户输入数据。
在再一个示例中，一种包括存储在其上的指令的计算机可读存储介质，当执行所述指令时将一个或多个处理器配置为：发送用户输入返回信道(UIBC)参数消息，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机(VNC)输入类型中的一个，以及根据所述语音输入类型和所述VNC输入类型中的所规定的一个来接收UIBC消息中的用户输入数据。
在又一个示例中，一种包括存储在其上的指令的计算机可读存储介质，当执行所述指令时将一个或多个处理器配置为：接收用户输入返回信道(UIBC)参数消息，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机(VNC)输入类型中的一个，以及根据所述语音输入类型和所述VNC输入类型中的所规定的一个来发送用户输入数据。
在附图和下面的描述中给出了本申请的一个或多个示例的细节。根据所述说明书和附图以及根据权利要求，其它特征、目的和优点将是清楚的。
附图说明
图1是示出了无线显示(WD)系统的示例的框图，所述无线显示(WD)系统包括能够使用用户输入设备控制通信信道来交换语音和虚拟网络连接(VNC)按键事件的源设备和宿设备。
图2是示出了WD系统的数据通信模型或协议栈的示例的框图。
图3是示出了可以实现本申请中描述的技术的源设备的示例的框图。
图4是示出了可以实现本申请中描述的技术的宿设备的示例的框图。
图5是示出了本申请中描述的用户输入传输技术的流程图。
图6是示出了本申请中描述的用户输入传输技术的流程图。
图7是示出了本申请中描述的用户输入传输技术的流程图。
图8是示出了本申请中描述的用户输入传输技术的流程图。
具体实施方式
源设备和宿设备可以实现WD通信技术，该技术与比如像无线HD、无线家用数字接口(WHDI)、WiGig、无线USB和当前正在开发的Wi-Fi显示(WFD)标准兼容。可以在Wi-Fi联盟技术委员会、显示任务小组的Wi-Fi联盟“Wi-Fi Display Specification draft version 1.31”中找到关于WFD标准的额外信息，通过引用的方式将其全部内容并入本文。但是，当前WFD标准既不支持语音输入也不支持虚拟网络计算(VNC)输入，比如VNC按键事件输入。另外，当前WFD标准规定了通过面向连接的协议(即，通过互联网协议的传输控制协议(TCP/IP))来传输用户输入。
本申请的技术可以包括在WD系统中的源设备与宿设备之间建立用户输入设备控制通信信道以便允许宿设备向源设备发送设备控制输入。用户输入设备控制通信信道可以包括被称为Wi-Fi用户输入返回信道(UIBC)的反向信道架构，其已经被修改为传输一个或多个额外的输入类型。例如，UIBC可以扩展到传输语音和VNC按键事件输入类型。
在一些示例中，这些技术还可以包括修改WFD软件栈以便针对一个或多个输入类型，通过无连接传输协议(比如，通过IP的用户数据报协议(UDP/IP))来传输用户输入设备控制通信信道。在一些示例中，这些技术可以包括为TCP/IP和UDP/IP建立相应的用户输入设备控制通信信道，并将设备控制的输入类型分配给用户输入设备控制通信信道中的一个以用于传输。例如，语音可以分配给UDP/IP信道，而将鼠标点击事件分配给TCP/IP。与TCP不同，UDP提供无保证的数据报传递、排序或复制保护，并且可以更好地适合于携带语音和其它实时数据。
结果，这些技术可以扩展WD设备的潜在用户输入类型的范围，从而改善正在对源设备的操作进行控制的宿设备的用户的用户体验。另外，通过修改WFD软件栈以便使用无连接协议来传输用户输入设备控制通信信道的至少一些输入类型，这些技术可以减小源设备向宿设备发送的用户输入的传输延迟，通过减小例如语音命令与命令执行之间的延迟再次潜在地改善用户体验。
图1是示出了无线显示(WD)系统100的示例的框图，所述无线显示(WD)系统100包括能够使用用户输入设备控制通信信道来交换语音和虚拟网络连接(VNC)按键事件的源设备120和宿设备160。在一些示例中，源设备120和宿设备160能够使用无连接协议来交换一个或多个用户输入类型，比如语音和VNC按键事件输入类型中的一个或二者。如图1中所示，WD系统100包括经由通信信道150与宿设备160进行通信的源设备120。
源设备120可以包括存储器122、显示器124、扬声器126、音频和/或视频(A/V)编码器128、音频和/或视频(A/V)控制模块130、以及发射机/接收机(TX/RX)单元132。宿设备160可以包括发射机/接收机单元162、音频和/或视频(A/V)解码器164、显示器166、扬声器168、用户输入(UI)设备170和用户输入处理模块(UIPM)172。所示出的组件仅仅构成WD系统100的一种示例性配置。其它配置可以包括与那些示出的组件相比更少的组件，或者可以包括除那些示出的组件以外的额外组件。
在图1的示例中，源设备120可以在显示器124上显示A/V数据的视频部分，并且可以使用扬声器126输出A/V数据的音频部分。可以将A/V数据本地地存储在存储器122上，从外部存储介质(比如，文件服务器、硬盘驱动器、外部存储器、蓝光光碟、DVD或其它物理存储介质)访问，或者可以经由网络连接(比如，经由互联网)流式传输到源设备120。在一些实例中，A/V数据可以是经由源设备120的摄像头和麦克风实时捕获的。A/V数据可以包括诸如电影、电视节目或音乐之类的多媒体内容，但是还可以包括由源设备120生成的实时内容。这样的实时内容可以例如由源设备120上运行的应用产生，或者可以是被捕捉到的视频数据，例如作为视频电话会话的一部分。在一些实例中，这样的实时内容可以包括可用于由用户进行选择的用户输入选项的视频帧。在一些实例中，A/V数据可以包括不同类型内容(比如，具有覆盖在视频帧上的用户输入选项的电影或TV节目的视频帧)的组合的视频帧。在一些实例中，A/V数据可以包括由虚拟网络计算(VNC)传输的、用于在宿设备160上显示在源设备120上执行的应用的用户接口的数据。一般而言，WD可以使用VNC显示该用户接口并从宿设备160向源设备120传输用户输入。
作为经由显示器124和扬声器126本地地呈现A/V数据的补充或替代，源设备120的A/V编码器128可以对A/V数据进行编码，并且发射机/接收机单元132可以通过通信信道150向宿设备160发送已编码的数据。宿设备160的发射机/接收机单元162接收已编码的数据，并且A/V解码器164可以对已编码的数据进行解码，并输出已解码的数据以便呈现在显示器166和扬声器168上。通过这种方式，显示器124和扬声器126呈现的音频和视频数据可以由显示器166和扬声器168同时呈现。音频数据和视频数据可以被布置在帧中，并且音频帧在呈现时可以与视频帧在时间上同步。
A/V编码器128和A/V解码器164可以实现任何数量的音频和视频压缩标准，比如ITU-T H.264标准，替代地称为MPEG-4，第10部分，高级视频编码(AVC)或新兴的高效视频编码(HEVC)标准。也可以使用很多其它类型的专有或标准压缩技术。一般而言，A/V解码器164被配置为执行A/V编码器128的逆编码操作。虽然在图1中没有示出，但是在一些方面中，A/V编码器128和A/V解码器164可以分别与音频编码器和解码器相整合，并且可以包括适当的MUX-DEMUX单元，或者其它硬件和软件，以便负责将音频和视频两者都编码到公共数据流或分开的数据流中。
如下面将更详细描述的，除了实现如上所述的视频压缩标准，A/V编码器128还可以执行其它编码功能。例如，A/V编码器128可以在向宿设备160发送A/V数据之前向A/V数据添加各种类型的元数据。在一些实例中，A/V数据可以按照已编码的形式存储在源设备120上或在源设备120处接收，因此不要求被A/V编码器128进一步压缩。
虽然图1示出了分别携带音频有效载荷数据和视频有效载荷数据的通信信道150，但是视频有效载荷数据和音频有效载荷数据可以是公共数据流的一部分。如果可以的话，则MUX-DEMUX单元可以遵循ITU H.223多路复用协议、或者诸如用户数据报协议(UDP)之类的其它协议。A/V编码器128和A/V解码器164可以分别被实现成一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑、软件、硬件、固件或它们的任意组合。A/V编码器128和A/V解码器164的每一个可以被包括在一个或多个编码器或解码器中，所述一个或多个编码器或解码器中的任一个可以被整合为组合的编码器/解码器(CODEC)的一部分。因此，源设备120和宿设备160中的每一个可以包括被配置为执行本申请的一个或多个技术的专用装置。
显示器124和显示器166可以包括诸如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或另一种类型的显示设备之类的各种视频输出设备中的任一种。在这些或其它示例中，显示器124和显示器168可以分别是发射显示器或透射式显示器。显示器124和显示器166还可以是触摸式显示器或者存在敏感的，使得它们可以同时是输入设备和显示设备。这些触摸式显示器可以是电容性的、电阻性的或允许用户向相应设备提供用户输入的其它类型的触摸或存在敏感面板。
扬声器126和扬声器168可以包括诸如耳机、单扬声器系统、多扬声器系统或环绕声系统之类的各种音频输出设备中的任一种。另外，虽然显示器124和扬声器126被显示为源设备120的一部分，并且显示器166和扬声器168被显示为宿设备160的一部分，但是源设备120和宿设备160实际上可以是设备的系统。举一个例子，显示器166可以是电视，扬声器168可以是环绕声系统，而A/V解码器164可以是有线或无线地连接到显示器166和扬声器168的外部盒子的一部分。在其它实例中，宿设备160可以是单个设备，比如平板电脑或智能电话。在还有其它情况中，源设备120和宿设备160是相似的设备，例如两者都是智能电话、平板电脑等。在这种情况中，一个设备可以作为源进行操作，而另一个可以作为宿进行操作。这些角色可以在后续通信会话中颠倒。在另外其它情况中，源设备120可以包括移动设备，比如智能电话、膝上型或平板计算机，并且宿设备160可以包括更固定的设备(例如，具有AC电源线)，在这种情况下，源设备120可以传递音频和视频数据以便经由宿设备160呈现给一个或多个观众。
发射机/接收机(TX/RX)单元132和发射机/接收机单元162可以分别包括各种混频器、滤波器、放大器和被设计为用于信号调制的其它组件、以及被设计为用于发送和接收数据的一个或多个天线和其它组件。通信信道150通常代表用于在源设备120与宿设备160之间发送音频/视频数据、控制数据和反馈的、任何适合的通信介质或者不同通信介质的集合。通信信道150通常是相对较短距离的通信信道，并且可以实现诸如或类似于Wi-Fi、蓝牙等的、诸如实现所定义的2.4GHz、3.6GHz、5GHz、60GHz或超宽带(UWB)频带结构之类的物理信道架构。然而，通信信道150在这方面中不一定是受限的，并且可以包括任何无线或有线通信介质，比如射频(RF)频谱或一个或多个物理传输线、或无线和有线介质的任何组合。在其它示例中，通信信道150甚至可以构成基于分组的网络(例如，有线或无线局域网、广域网、或诸如互联网之类的全球网络)的一部分。另外，通信信道150可以由源设备120和宿设备160用来创建点对点链路。
源设备120和宿设备160可以使用例如实时流协议(RTSP)控制消息、根据能力协商来建立通信会话。在一个示例中，可以由源设备120向宿设备160发送针对建立通信会话的请求。一旦建立了媒体共享会话，源设备120使用实时传输协议(RTP)向参与的宿设备160发送媒体数据(例如，音频视频(AV)数据)。宿设备160将所接收的媒体数据呈现在其显示器和音频装置(图1中未示出)上。
然后，源设备120和宿设备160可以使用通信协议(比如，来自IEEE802.11标准族的标准)通过通信信道150进行通信。在一个示例中，通信信道150可以是网络通信信道。在该示例中，通信服务供应商可以使用基站作为网络集线器，在中央操作并管理一个或多个网络。源设备120和宿设备160可以例如根据Wi-Fi直接或Wi-Fi显示(WFD)标准进行通信，使得源设备120和宿设备160直接相互通信，而不使用诸如无线接入点或所谓的热点之类的中间媒介。源设备120和宿设备160还可以建立隧道化直接链路建立(TDLS)以避免或减少网络拥塞。WFD和TDLS旨在建立相对较短距离的通信会话。相对较短距离在该上下文中可以指，例如小于约70米，但是在吵闹或阻塞的环境中，设备之间的距离甚至可能更短，比如小于约35米或小于约20米。
本申请的技术有时可以针对WFD进行描述，但是可以预期的是这些技术的方面也可以与其它通信协议兼容。举例说明而不限于，在源设备120与宿设备之间的无线通信可以利用正交频分复用(OFDM)技术。也可以使用各种不同的其它无线通信技术，包括但不限于时分多址(TDMA)、频分多址(FDMA)、码分多址(CDMA)或者OFDM、FDMA、TDMA和/或CDMA的任意组合。
除了解码并呈现从源设备120接收到的数据，宿设备160还可以从用户输入设备170接收用户输入。用户输入设备170可以例如是键盘、鼠标、轨迹球或触摸板、触摸或存在敏感屏幕、麦克风、语音命令识别模块或另一个用户输入设备。UIPM 172将用户输入设备170接收到的用户输入命令格式化到源设备120能够处理的数据分组结构中。这些数据分组由发射机/接收机单元162通过通信信道150发送给源设备120。发射机/接收机单元132接收数据分组，并且A/V控制模块130对数据分组进行解析以便解释用户输入设备170接收到的用户输入命令。基于在数据分组中接收到的命令，A/V控制模块130可以改变被编码和发送的内容。通过这种方式，宿设备160的用户可以控制由源设备120远程地并且在不与源设备120进行直接交互的情况下发送的音频有效载荷数据和视频有效载荷数据。
另外，宿设备160的用户也许能够启动并控制在源设备120上的应用。例如，宿设备160的用户也许能够启动在源设备120上存储的照片编辑应用，并且使用该应用来编辑在源设备120上本地存储的照片。宿设备160可以向用户提供如下用户体验：看起来并感觉好像照片是在宿设备160上本地编辑的，但是实际上该照片是在源设备120上编辑的。使用这种配置，用户也许能够利用一个设备的能力与多个设备一起使用。例如，源设备120可以包括具有大量存储和高端处理能力的智能电话。然而，在观看电影时，用户可能希望在具有更大显示屏幕的设备上观看电影，在这种情况下，宿设备160可以是平板电脑或者甚至更大的显示设备或电视。当想要发送或回复邮件时，用户可能希望使用具有物理键盘的设备，在这种情况下，宿设备160可以是膝上型电脑。在这两种实例中，即使用户正在与宿设备160交互，很多处理可以仍然由源设备120执行。源设备120和宿设备160可以通过发送控制数据(例如，用于协商和/或识别通过通信信道150的任何给定会话中的设备的能力的数据)来有助于双向交互。
在一些配置中，A/V控制模块130可以包括由源设备120的操作系统执行的操作系统过程或用户应用。但是，在其它配置中，A/V控制模块130可以包括运行在源设备120上的应用的软件过程。在这种配置中，用户输入命令可以被软件过程解释，使得宿设备160的用户与运行在源设备120上的应用直接地交互，与运行在源设备120上的操作系统完全不同。如与操作系统完全不同，通过与应用直接地交互，宿设备160的用户可以访问不位于源设备120的操作系统本地的命令库。另外，直接与应用交互也许能够使命令更容易地被运行在不同平台上的设备发送和处理。
在宿设备160处应用的用户输入可以通过通信信道150上的用户输入设备控制通信信道发送回源设备120。在示出的示例中，用户输入设备控制通信信道是使用反向信道架构(这里称为Wi-Fi用户接口返回信道(UIBC)152)来实现的，以便能够使宿设备160将应用于宿设备160处的用户输入发送给源设备120。该反向信道架构可以包括用于传输用户输入的上层消息，以及用于协商宿设备160和源设备120处的用户接口能力的较低层帧。UIBC 152可以是在宿设备160与源设备120之间使用互联网协议(IP)网络层上的传输层协议传输的。通过这种方式，UIBC 152可以位于开放式系统互联(OSI)通信模型和TCP/IP模型中的传输层之上。为了促进包含用户输入数据的数据分组的可靠传输和顺序传递，UIBC可以被配置为运行在其它基于分组的通信协议(比如传输控制协议/互联网协议(TCP/IP))的顶端上。TCP/IP能够使宿设备160和源设备120在分组丢失的情况下实施重传技术。
UIBC 152可以被设计为传输各种类型的用户输入数据，包括跨平台的用户输入数据。例如，源设备120可以运行操作系统，而宿设备160运行另一个操作系统，比如或无论什么平台，UIPM172可以将接收到的用户输入封装到A/V控制模块130可理解的形式中。多个不同类型的用户输入格式或“输入类型”可以是UIBC支持的，从而无论源设备和宿设备是否在不同平台上操作，都允许很多不同类型的源设备和宿设备开发协议。将UIBC的输入类型分配给两种类别之一：通用和人机接口设备控制(HIDC)。一般而言，通用输入类型包括在应用级处理的设备不可知的用户输入，比如鼠标上/下、按键弹起/按下、触摸上/下、缩放、滚动和旋转。一般而言，HIDC包括更专用的输入类型，比如红外线、通用串行总线(USB)、蓝牙、ZigBee、Wi-Fi接口、摄像头、手势等。不同输入类型在由UIBC在源设备120与宿设备160之间传输用户输入的方式方面提供灵活性。
根据本申请中描述的技术，UIBC 152被实现为传输语音类型和VNC输入类型中的至少一个，比如VNC按键事件输入类型和VNC指针事件输入类型。规定语音输入类型的UIBC分组传输基于语音的媒体，比如由宿设备160的麦克风UI设备170接收到的语音命令。VNC按键事件表示关于显示器166显示的VNC显示而做出的键按下或释放。在一个示例中，VNC按键事件消息包括消息类型、按下标志、填充和键字段。其它字段也可以用于其它示例中。键字段标识了被按下或释放的键。按下标志标识了被键字段标识的按键是否已经被按下还是释放。VNC指针事件指示：指针(例如，鼠标或轨迹球)运动或指针钮按下或释放。VNC指针事件消息可以包括消息类型、按钮掩码、x位置和y位置字段。其它字段也可以用于其它示例中。按钮掩码字段指示一个或多个指针按钮的状态，其中不同比特位置的值指示相应指针按钮处于按下或者弹起状态。该指针在VNC显示上位于(x位置、y位置)处。
在一些实例中，该技术还可以包括修改或定义WFD软件栈以用于至少部分地通过无连接传输协议(比如通过IP的用户数据报协议(UDP/IP))来传输UIBC 152。例如，UIBC 152可以被实现为针对语音输入类型来通过UDP运行。在一些示例中，宿设备160和源设备120通过TCP/IP和UDP/IP来建立各个用户输入设备控制通信信道以便携带不同的UIBC输入类型。例如，UIBC 152可以通过UDP/IP信道来传输语音输入，而UIBC 152通过TCP/IP信道来传输鼠标点击。与TCP不同，UDP提供无保证的数据报传递、排序或复制保护，并且可以更好地适合于携带语音和其它实时数据。
由于这些技术，宿设备160的用户可以有更多的灵活性来控制使用WD的源设备120的操作。另外，在一些实例中，该技术可以通过使用一个或多个UIBC输入类型的无连接传输协议为用户提供有质量的用户体验。
图2是示出了WD系统的数据通信模型或协议栈的示例的框图。数据通信模型200示出了用于在实现的WD系统中的源设备与宿设备之间发送数据的、数据与控制协议之间的交互。在一些示例中，WD系统100可以使用数据通信模型200。数据通信模型200包括物理(PHY)层202、媒体访问控制(MAC)层(204)、互联网协议(IP)206、用户数据报协议(UDP)208、实时传输协议(RTP)210、MPEG2传输流(MPEG2-TS)212、内容保护214、分组化单元流(PES)分组化216、视频编解码器218、音频编解码器220、传输控制协议(TCP)222、实时流协议(RTSP)224、用户输入分组化228、人机交互设备命令(HIDC)230和通用用户输入232。用户输入分组化228、HIDC 230和通用用户输入232可以构成用户输入返回信道(201)。UIBC 201可以执行例如用于实现图1的UIBC 152的控制协议。
物理层202和MAC层204可以定义用于在WD系统中通信的物理信令、寻址和信道接入控制。物理层202和MAC层204可以定义用于通信的频带结构，例如在2.4GHz、3.6GHz、5GHz、60GHz处定义的联邦通信委员会频带或超宽带(UWB)频带结构。物理层202和MAC 204也可以定义数据调制技术，例如模拟和数字幅度调制、频率调制、相位调制技术和它们的组合。物理层202和MAC 204还可以定义复用技术，例如时分多址(TDMA)、频分多址(FDMA)、码分多址(CDMA)或者OFDM、FDMA、TDMA和/或CDMA的任意组合。在一个示例中，物理层202和媒体访问控制层204可以由Wi-Fi(例如，IEEE 802.11-2007和802.11n-2009x)标准(比如WFD所提供的)来定义。在其它示例中，物理层202和媒体访问控制层204可以由无线HD、无线家庭数字接口(WHDI)、WiGig和无线USB中的任何一个来定义。
互联网协议(IP)206、用户数据报协议(UDP)208、实时传输协议(RTP)210、传输控制协议(TCP)222和实时流协议(RTSP)224定义用于WD系统中的分组结构和封装，并且可以根据互联网工程任务组(IETF)维护的标准来定义。
RTSP 224可以被源设备120和宿设备160用于例如协商能力、建立会话、以及会话维持和管理。源设备120和宿设备160可以使用RTSP消息事务来建立反馈信道，以便协商源设备120和宿设备160的、用于支持UIBC上的反馈信道和反馈输入类别的能力。使用RTSP协商来建立反馈信道可以类似于使用RTSP协商过程来建立媒体共享会话和/或UIBC。
例如，源设备120可以向宿设备160发送规定对源设备120感兴趣的能力列表的能力请求消息(例如，RTSP GET_PARAMETER请求消息)。根据本申请，能力请求消息可以包括用于支持UIBC上的反馈信道的能力。宿设备160可以用能力响应消息(例如，RTSP GET_PARAMETER响应消息)进行响应以便向源设备120声明其支持反馈信道的能力。举个例子，如果宿设备160支持UIBC上的反馈信道，则能力响应消息可以指示“是”。然后，源设备120可以向宿设备160发送用于指示将在媒体共享会话期间使用反馈信道的确认请求消息(例如，RTSP SET_PARAMETER请求消息)。宿设备160可以用确认响应消息(例如，RTSP SET_PARAMETER响应消息)进行响应以便向源设备120确认：将在媒体共享会话期间使用反馈信道。替代地，可以在上位术语“参数消息”或“UIBC参数消息”下提及能力请求、能力响应、确认请求和确认响应消息。
视频编解码器218可以定义可由WD系统使用的视频数据编码技术。视频编解码器218可以实现任何数量的视频压缩标准，比如ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-TH.263、ISO/IEC MPEG-4Visual、ITU-T H.264(也叫做ISO/IEC MPEG-4AVC)、VP8和高效视频编码(HEVC)。应该注意的是，在一些实例中，WD系统可以是压缩的或未压缩的视频数据。
音频编解码器220可以定义可由WD系统使用的音频数据编码技术。可以使用如由杜比和数字影院系统开发的那些多信道格式来对音频数据进行编码。可以使用压缩或未压缩格式来对音频数据进行编码。压缩的音频格式的示例包括MPEG-1、2音频层II和III、AC-3、AAC。未压缩音频格式的示例包括脉冲编码调制(PCM)音频格式。
分组化的单元流(PES)分组216和MPEG2传输流(MPEG2-TS)212可以定义编码后的音频和视频数据如何被分组化并发送。可以根据MPEG-2第1部分来定义分组化的单元流(PES)分组216和MPEG-TS 212。在其它示例中，可以根据其它分组化和传输流协议来分组化和发送音频和视频数据。内容保护214可以提供保护以避免对音频或视频数据进行未授权拷贝。在一个示例中，可以根据高带宽数字内容保护2.0规范来定义内容保护214。
UIBC 201包括用户输入分组化228，该用户输入分组化228可以定义如何对用户输入进行分组化。人机接口设备命令(HIDC)230、通用用户输入232可以定义用户输入的类型如何被格式化到信息单元中。例如，人机接口设备命令230和通用用户输入232可以基于用户接口类型(例如，鼠标、键盘、触摸、多点触摸、语音、手势、厂家专用接口等)和命令(例如，缩放、摇摄(pan)等)对输入进行分类，并且确定应该如何将用户输入格式化到信息单元中。分类成HIDC还是通用用户输入通常影响如何在宿设备160处将后续媒体数据呈现给用户(例如，缩放和摇摄操作)以及源设备120对去往宿设备160的媒体数据进行如何处理(例如，编码和/或发送)。
在一个示例中，人机接口设备命令230可以基于所定义的用户输入设备规范(比如USB、蓝牙和Zigbee)来对用户输入数据进行格式化并生成用户输入值。表1A、1B和1C提供HIDC输入主体格式、HID接口类型和HID类型值的示例。在一个示例中，可以根据WFD来定义人机接口设备命令(HIDC)230。在表1A中，HID接口类型字段规定了人机接口设备(HID)类型。在表1B中提供HID接口类型的示例。HID类型字段规定了HID类型。表1C提供了HID类型的示例。长度字段以八位字节为单位规定了HIDC值的长度。HIDC包括可以在诸如蓝牙、Zigbee和USB之类的规范中定义的输入数据。
表1A：HIDC主体格式
表1B：HIDC接口类型
值 HID接口类型
0 红外线
1 USB
2 蓝牙
3 Zigbee
4 Wi-Fi
5-254 预留
255 厂家专用HID接口
表1C：HID类型
值 HID类型
0 键盘
1 鼠标
2 单点触摸
3 多点触摸
4 游戏操纵杆
5 摄像头
6 手势
7 远程控制器
8-254 预留
255 厂家专用HID类型
在一个示例中，通用用户输入232可以独立于特定用户输入设备在应用级被处理并且格式成信息单元。可以由WFD标准来定义通用用户输入232。表2A和表2B提供了通用输入主体格式的示例和通用用户输入的输入类型标识符。在表2A中，通用IE ID字段规定了通用信息单元(IE)ID类型。在表2B中提供了通用IE ID类型的示例。长度字段以八位字节为单位规定了通用IE ID值的长度。描述字段规定了用户输入的细节。应该注意的是，为了简化起见，还没有描述表2A中的描述字段中的用户输入的细节，但是在一些示例中，可以包括针对鼠标触摸/移动事件、ASCII键码和控制键码、缩放、滚动和旋转值的X-Y坐标值。在一个示例中，可以根据WFD来定义人机接口设备命令(HIDC)230和通用用户输入232。
表2A：通用输入主体格式
表2B：通用输入类型
通用输入类型ID 备注
0 鼠标左键按下/触摸按下
1 鼠标左键弹起/触摸弹起
2 鼠标移动/触摸移动
3 键按下
4 键弹起
5 缩放
6 垂直滚动
7 水平滚动
8 旋转
9-255 预留
当前WFD标准不支持语音和VNC按键事件输入。在所示的示例中，将与数据通信模型200的通用输入类别相对应的通用用户输入232扩展为包括语音输入240和VNC按键事件输入242。对WFD标准文本的示例性变化对上述扩展的影响如下所示(其它没被提及的部分与WFD标准中的一样)。
表3提供了被扩展为包括语音和VNC按键事件输入的通用用户输入的输入类型标识符的示例性集合(下划线的语句是对当前WFD标准的通用输入类型标识符的补充)：
表3：通用输入类型(扩展的)
通用IE ID 备注
0 鼠标左键按下/触摸按下
1 鼠标左键弹起/触摸弹起
2 鼠标移动/触摸移动
3 键按下
4 键弹起
5 缩放
6 垂直滚动
7 水平滚动
8 旋转
9 语音
10 VNC按键事件
11-255 预留
在一些示例中，通用输入类型标识符可以包括例如VNC指针事件的标识符。表4-5定义了根据下面描述的新添加的通用输入类型标识符。
表4中示出了语音数据通用输入类型ID的通用输入消息的描述字段。使用协商的语音编解码器对语音输入进行编码。可以在WFD源设备与WFD宿设备之间、在RTSP消息交换中的wfd-uibc-capability参数的语音字段中协商语音编解码器。可以由RTSP M4和/或M14请求消息中的语音参数中的WFD源指示要使用的最终编解码器。WFD宿通过TCP/UDP传输来发送语音输入。
表4：针对语音的通用输入消息的描述字段
表5中示出了VNC按键事件通用输入类型ID的通用输入消息的描述字段：
表5：针对VNC按键事件的通用输入消息的描述字段
字段 尺寸(八位字节) 备注
VNC按键事件 4 VNC 32比特按键事件数据。
当前WFD标准不支持针对UIBC数据的传递的无连接传输，例如UDP传输。本申请的技术还包括添加对UIBC数据的UDP传输以及利用UDP传输来传递语音数据输入。在所示的示例中，数据通信模型200被修改为选择性地执行通过UDP 208的用户输入分组化228，如数据信道244所指示。通过这种方式，例如，可以使用UDP 208通过IP 206来传输针对语音240和/或VNC按键事件242用户输入的UIBC数据。
此外，可以针对WFD标准做出额外的改变以便将WFD标准中的能力协商扩展为包括额外的参数。如数据通信模型200中所示，WD系统的宿设备和源设备可以使用实时流协议(RTSP)控制消息来协商能力。根据WFD标准，源设备向宿设备发送确认请求消息(例如，RTSPSET_PARAMETER请求消息)。所述RTSP SET_PARAMETER请求消息包括用于指示将如何在媒体共享会话期间使用反馈信道来发送信息的参数。在一个示例中，RTSP SET_PARAMETER请求消息可以被修改为包括用于指示将如何使用反馈信道来发送VNC输入的参数。在一个示例中，RTSPSET_PARAMETER请求消息可以被修改为包括用于指示将如何使用反馈信道来发送用户语音命令的参数。在一个示例中，RTSP SET_PARAMETER请求消息可以包括用于指示用于宿发送语音命令的用户数据报协议(UDP)端口的参数。在一个示例中，可以至少部分地根据下面的语法(下划线的语句是对当前WFD标准的SET_PARAMETER请求消息的补充)对SET_PARAMETER请求消息进行格式化：
该wfd-uibc-capability参数描述了对用户输入返回信道(UIBC)和相关属性的支持。使用WFD扩展能力子单元中的WFD扩展能力位图的UIBC支持比特(B0)来指示对UIBC的支持。注意：“none”指示不支持相应子参数值。
WFD源在RTSP M4和/或M14请求消息中的wfd-uibc-capability参数的tcp-port字段中指示了要用于UIBC的TCP端口号。WFD宿针对RTSP M3响应和M14请求消息中的wfd-uibc-capability参数的tcp-port字段使用“none”。
WFD源在RTSP M4和/或M14请求消息中的wfd-uibc-capability参数的udp-port字段中指示要用于UIBC的UDP端口号。WFD宿针对RTSP M3响应和M14请求消息中的wfd-uibc-capability参数的udp-port字段使用“none”。另外，WFD宿可以针对VNC输入类型(比如VNC按键事件或VNC指针事件)的wfd-uibc-capability参数的udp-port字段使用“none”，针对VNC输入数据传输可能在某些情形中需要TCP连接。可以根据本申请中描述的技术，将语音输入数据传输给在UIBC能力协商过程期间协商的UDP端口。
在一些示例中，该技术可以包括添加经由额外的音频返回信道来支持语音输入，同时添加经由通过Wi-Fi显示UIBC的通用输入类别来支持VNC输入。额外的音频返回信道可以提供用于从WFD宿(例如，图1的宿设备160)向WFD源(例如，图1的源设备120)传递语音和麦克风输入的RTP/UDP传输。在这些示例中，针对通用类别的用户输入的通用输入类型ID表可以如下：
表6：通用输入类型(扩展的)
通用IE ID 备注
0 鼠标左键按下/触摸按下
1 鼠标左键弹起/触摸弹起
2 鼠标移动/触摸移动
3 键按下
4 键弹起
5 缩放
6 垂直滚动
7 水平滚动
8 旋转
9 VNC按键事件
11-255 预留
表5中描述了针对表6的VNC按键事件通用输入类型ID的通用输入消息的描述字段。
语音返回信道(ABC)是可选的WFD特征，当实现该特征时有助于从WFD宿向WFD源处存在的用户传输音频/语音输入。ABC输入可以在被802.11分组化和传输给WFD源之前由RTP/UDP/IP头部封装。使用RTP、UDP和IP头部来对ABC音频分组进行分组。包括ABC音频分组的RTP分组可以包括从WFD源维护的主时钟获得并且在一次时钟节拍对应于11.11μs的情况下以90kHz为单位来表示的32比特RTP时间戳(RTP TS)信息。针对WFD分组的RTP TS可以被设置为映射到第一个ABC分组到达RTP封装层处的时间。音频输入有效载荷可以使用强制格式，即，线性脉冲编码调制音频(LPCM)、16比特、48kbps和2ch，并且音频有效载荷可以携带实际的音频数据或空数据。
同样，在其中额外音频返回信道提供对语音输入的支持的技术的示例中，可以对WFD标准做出额外修改以便将WFD标准中的能力协商扩展为包括额外参数。如数据通信模型200中所示，WD系统的宿设备和源设备可以使用实时流协议(RTSP)控制消息来协商能力。根据WFD标准，源设备向宿设备发送确认请求消息(例如，RTSP SET_PARAMETER请求消息)。RTSP SET_PARAMETE请求消息包括用于指示将如何在媒体共享会话期间使用反馈信道来发送信息的参数。在一个示例中，可以至少部分地根据以下语法对SET_PARAMETE请求消息进行格式化(下划线的语句是对当前WFD标准的SET_PARAMETE请求消息的补充)：
wfd-uibc-capability参数描述了对用户输入返回信道(UIBC)及相关属性的支持。使用WFD扩展能力子单元中的WFD扩展能力位图的UIBC支持比特(B0)来指示对UIBC的支持。注意：“none”指示：不支持相应子参数值。
WFD扩展能力位图还可以被修改为描述根据本申请中描述的技术对音频返回信道的支持。在一些示例中，可以如下修改WFD扩展能力位图：
表7：WFD扩展能力位图(扩展的)
wfd-abc-capability参数描述对音频返回信道(ABC)及相关属性的支持。如上所述，使用WFD扩展能力子单元中的WFD扩展能力位图的ABC支持比特来指示对ABC的支持。用于支持语音输入的RTSP交换的新wfd-abc-capability参数的示例如下：
abc-audio-list表示被支持的各个音频CODEC的一个或多个<音频格式、模式、延迟>元组的列表。WFD源可以在RTSP M4请求消息中的wfd-abc-capability参数的udp-port字段中指示要用于ABC的UDP端口号。WFD宿可以针对RTSP M3响应消息中的wfd-abc-capability参数的udp-port字段来使用“none”。
图3是示出了可以实现本申请中描述的技术的源设备的示例的框图。源设备600可以是包含图2中提供的数据通信模型的WD系统的一部分。源设备600可以是被配置为对用于传输、存储和/或显示的媒体数据进行编码和/或解码。源设备600包括存储器602、显示处理器604、本地显示器606、音频处理器608、扬声器610、视频编码器612、视频分组器614、音频编码器616、音频分组器618、A/V多路复用器620、传输模块622、调制解调器624、以及控制模块626。源设备600的组件可以被实现为各种适合电路中的任一种，比如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑、软件、硬件、固件或它们的任何组合。
存储器602可以按照具有压缩或未压缩格式的媒体数据的形式存储A/V可视数据。存储器602可以存储整个媒体数据文件，或者可以包括更小的缓存，所述更小的缓存仅仅存储(例如，从另一个设备或源流式传输的)媒体数据文件的一部分。存储器602可以包括各种易失性或非易失性存储器中的任一种，包括但不限于，随机存取存储器(RAM)，比如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存等。存储器602可以包括用于存储媒体数据以及其它类型的数据的计算机可读存储介质。存储器602可以另外存储由处理器执行的指令和程序代码，作为执行本申请中描述的各种技术的一部分。
显示处理器604可以得到所捕获的视频帧并可以处理视频数据以便在本地显示器606上显示。显示器606包括各种显示设备中的一种，比如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器、或能够向源设备600的用户呈现视频数据的另一种类型的显示设备。
音频处理器608可以得到所捕获的音频采样并且处理音频数据以便输出到扬声器610。扬声器610可以包括各种不同音频输出设备中的任一种，比如耳机、单扬声器系统、多扬声器系统或环绕声系统。
视频编码器612可以从存储器602得到视频数据并将视频数据编码成所期望的视频格式。视频编码器612可以是用于实现上面针对图2所描述的视频编解码器218的各方面的硬件和软件的组合。视频编码器612可以根据任意数量的视频压缩标准(比如，ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IECMPEG-4Visual、ITU-T H.264(也叫做ISO/IEC MPEG-4AVC)、VP8和高效视频编码(HEVC))对视频进行编码。应该注意的是，在一些情况中，视频编码器612可以对视频进行编码，从而使用无损或有损压缩技术来对视频数据进行压缩。
视频分组器614可以对已编码的视频数据进行分组。在一个示例中，如根据MPEG-2第1部分所定义的，视频分组器614可以对已编码的数据进行分组化。在其它示例中，可以根据其它分组化协议对视频数据进行分组。视频分组器614可以是用于实现如上面针对图2所描述的分组化元素流(PES)分组化216的各方面的硬件和软件的组合。
音频编码器616可以从存储器602得到音频数据并将音频数据编码成所期望的音频格式。音频编码器616可以是用于实现如上关于图2所描述的音频编解码器220的方面的硬件和软件的组合。可以使用杜比和数字影院系统所开发的那些多信道格式对音频数据进行编码。可以使用压缩或未压缩的格式对音频数据进行编码。压缩音频格式的示例包括MPEG-1、2音频层II和III、AC-3、AAC。未压缩音频格式的示例包括脉冲编码调制(PCM)音频格式。
音频分组器618可以对已编码的音频数据进行分组化。在一个示例中，如根据MPEG-2第1部分定义的，音频分组器618可以对已编码的音频数据进行分组化。在其它示例中，可以根据其它分组化协议对音频数据进行分组化。音频分组器618可以是用于实现如上面针对图2所描述的分组化元素流(PES)分组化216的各方面的硬件和软件的组合。
A/V多路复用器620可以应用多路复用技术来将视频有效载荷数据和音频有效载荷数据组合成公共数据流的一部分。在一个示例中，A/V多路复用器620可以将分组化的单元视频和音频流封装成如根据MPEG-2第1部分定义的MPEG2传输流。A/V多路复用器620可以对音频和视频分组提供同步，以及提供纠错技术。
传输模块622可以对媒体数据进行处理以便传输给宿设备。此外，传输模块622可以处理从宿设备接收到的分组，这样可以进一步对这些分组进行处理。例如，传输模块622可以被配置为使用IP、TCP、UDP、RTP和RSTP进行通信。例如，传输模块622还可以封装MPEG2-TS以便传输给宿设备或通过网络进行发送。
调制解调器624可以被配置为根据WD系统中采用的物理和MAC层来执行物理和MAC层处理。如针对图2所描述的，物理和MAC层可以定义用于在WD系统中通信的物理信令、寻址和信道接入控制。在一个示例中，调制解调器624可以被配置为执行由Wi-Fi(例如，IEEE 802.11x)标准所定义的物理和MAC层的物理层和MAC层处理，比如由WFD所提供的。在其它示例中，调制解调器624可以被配置为执行针对以下各项中的任一项的物理层和MAC层处理：无线HD、WiMedia、无线家庭数字接口(WHDI)、WiGig和无线USB。
控制模块626可以被配置为执行源设备600通信控制功能。通信控制功能可能涉及与宿设备的协商能力、与宿设备建立会话、以及会话维持和管理。控制模块626可以使用RTSP与宿设备进行通信。此外，控制模块626可以使用RTSP消息事务来建立一个或多个通信信道以便协商源设备600和宿设备的用于支持通过UDP来传输UIBC和支持额外通用用户输入类型的能力。
传输模块622可以接收并向控制模块626发送UIBC信息单元(IE)。在示出的示例中，传输模块622接收UIBC IE 628并向控制模块626发送UIBC IE 628。控制模块626解析UIBC IE 628以识别用户输入并相应地修改组件606、604、602、608、610、612、614、616、618或620中的任意组件的操作。
图4是示出了可以实现本申请中描述的技术的宿设备的示例的框图。宿设备700可以是包含图2中提供的数据通信模型的WD系统的一部分。在一个示例中，宿设备700可以形成具有源设备600的WD系统。宿设备700包括调制解调器702、传输模块704、A/V解多路复用器706、视频解分组器708、视频解码器710、显示处理器712、显示器714、音频解分组器716、音频解码器718、音频处理器720、扬声器722、用户输入模块724和控制模块730。宿设备700的每个组件可以分别被实现为各种适合电路的任一种，比如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑、软件、硬件、固件或它们的任何组合。
调制解调器720可以被配置为根据WD系统中采用的物理和MAC层执行物理和MAC层处理。如参照图2所描述的。物理和MAC层可以定义用于WD系统中通信的物理信令、寻址和信道接入控制。在一个示例中，调制解调器702可以被配置为执行由Wi-Fi(例如，IEEE 802.11x)标准所定义的物理和MAC层的物理层和MAC层处理，比如由WFD所提供的。在其它示例中，调制解调器702可以被配置为执行针对以下各项中的任一项的物理层和MAC层处理：无线HD、WiMedia、无线家庭数字接口(WHDI)、WiGig和无线USB。
传输模块704可以处理从源设备接收到的媒体数据。此外，传输模块704可以处理反馈分组以便传输给源设备。例如，传输模块704可以被配置为使用IP、TCP、UDP、RTP和RSTP进行通信。另外，传输模块704可以在IP、TCP、UDP、RTP和RSTP分组的任意组合中包括时间戳值。该时间戳值可以使源设备能够识别哪个媒体数据分组遇到所报告的性能下降并且计算WD系统中的往返延迟。
A/V解多路复用器706可以应用解多路复用技术以便从数据流分开视频有效载荷数据和音频有效载荷数据。在一个示例中，A/V多路复用器706可以分开根据MPEG-2第1部分定义的MPEG2传输流的分组化单元视频和音频流。
视频解分组器708和视频解码器710可以执行实现本申请中描述的分组化和编码技术的视频分组器和视频编码器的逆处理，并且向显示处理器712输出视频数据。
显示处理器712可以得到所捕获的视频帧并且可以处理视频数据以便在显示器714上显示。显示器714可以包括各种显示设备中的一种，比如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器、或另一种类型的显示器。
音频解分组器716和音频解码器718可以执行实现本申请中描述的分组化和编码技术的音频分组器和音频编码器的逆处理，并且向音频处理器720输出音频数据。
音频处理器720可以从音频解码器得到音频数据，可以处理音频数据以便输出给扬声器722。扬声器722可以包括各种音频输出设备的任一种，比如耳机、单扬声器系统、多扬声器系统或环绕声系统。
用户输入模块724可以格式化由用户输入设备(比如，键盘、鼠标、轨迹球或轨迹板、触摸屏、语音命令识别模块或任何其它这种用户输入设备)接收到的用户输入命令。在一个示例中，用户输入模块724可以对根据上面针对图2所描述的人机接口设备命令(HIDC)230和通用用户输入232定义的格式对用户输入命令进行格式化。在所示的示例中，如上面针对图2所描述的，用户输入模块724从基于语音的输入设备(未示出)接收语音输入，并根据规定语音数据的UIBC IE，对语音输入进行格式化。用户输入模块724将格式化的UIBC IE 726发送给控制模块730以便由调制解调器702输出。
控制模块730可以被配置为执行宿设备700通信控制功能。通信控制功能可能涉及与源设备协商能力、与源设备建立会话、以及会话维持和管理。控制模块730可以使用RTSP来与源设备进行通信。此外，控制模块730可以使用RTSP消息事务来建立反馈信道，以便协商宿设备700和源设备的用于支持本申请中描述的技术的能力。
图5是示出了本申请中描述的用户输入传输技术的流程图。源设备向宿设备发送媒体数据。源设备和宿设备可以是本申请中描述的源设备和宿设备的任意组合(802)。在一个示例中，可以根据UDP来发送媒体数据。源设备发送用于规定UIBC的能力的UIBC参数消息，所述UIBC参数消息包括一个或多个语音输入类型或虚拟网络计算(VNC)输入类型，并且可以根据本申请中描述的任何消息格式来对所述UIBC参数消息进行格式化(804)。源设备还可以从宿设备接收包括符合UIBC能力的用户输入的UIBC消息，包括规定的语音输入类型或VNC输入类型(806)。
图6是示出了本申请中描述的用户输入传输技术的流程图。宿设备从源设备接收媒体数据(902)。源设备和宿设备可以是本申请中描述的源设备和宿设备的任意组合。在一个示例中，可以根据UDP来接收媒体数据。宿设备接收用于规定UIBC的能力的UIBC参数消息，所述UIBC参数消息包括一个或多个语音输入类型或VNC输入类型，并且可以根据本申请中描述的任何消息格式对所述UIBC参数消息进行格式化(904)。宿设备还可以向源设备发送包括符合UIBC能力的用户输入的UIBC消息，所述UIBC消息包括规定的语音输入类型或VNC输入类型(906)。
图7是示出了本申请中描述的用户输入传输技术的流程图。源设备向宿设备发送媒体数据。源设备和宿设备可以是本申请中描述的源设备和宿设备的任意组合(1002)。在一个示例中，可以根据UDP来发送媒体数据。源设备发送用于规定UIBC的能力的UIBC参数消息，所述UIBC参数消息包括用户数据报协议(UDP)端口(例如，用于语音输入数据)，并且可以根据本申请中描述的任何消息格式来对所述UIBC参数消息进行格式化(1004)。源设备还可以在规定的UDP端口处从宿设备接收可能包括语音输入数据的UIBC消息(1006)。
图8是示出了本申请中描述的用户输入传输技术的流程图。宿设备从源设备接收媒体数据(1102)。源设备和宿设备可以是本申请中描述的源设备和宿设备的任意组合。在一个示例中，可以根据UDP来接收媒体数据。宿设备接收用于规定UIBC的能力的UIBC参数消息，所述UIBC参数消息包括用户数据报协议(UDP)端口(例如，用于语音输入数据)，可以根据本申请中描述的任何消息格式对所述UIBC参数消息进行格式化(1104)。宿设备还可以使用规定的UDP端口向源设备发送可能包括由宿设备接收到的语音输入数据的UIBC消息(1106)。例如，包括UIBC消息的UDP数据报可以包括作为规定UDP端口的目标端口。
在一个或多个示例中，所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。如果用软件来实现，功能可以作为一条或多个指令或代码存储在计算机可读介质上或通过计算机可读介质传输。计算机可读介质可以包括计算机数据存储介质或通信介质，所述计算机数据存储介质或通信介质包括有助于将计算机程序从一个地方转移到另一个地方的任何介质。在一些示例中，计算机可读介质可以包括非临时性计算机可读介质。数据存储介质可以是一个或多个计算机或一个或多个处理器能够访问以便获取指令、代码和/或数据结构以实现本申请中描述的技术的任何可用介质。
作为示例而非限制，这样的计算机可读介质可以包括非临时性介质，例如RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘储存器、或其它磁性存储设备、闪存、或者能够用来携带或存储具有指令或数据结构形式的所期望的程序代码并且能够被计算机访问的任何其它介质。此外，任何连接都可以称为计算机可读介质。如本文所使用的磁盘和光碟包括压缩光碟(CD)、激光光碟、光碟、数字多功能光碟(DVD)、软盘以及蓝光光碟，其中，磁盘通常用磁再现数据，而光碟是由激光器用光再现数据。上述的组合也应该被包括在计算机可读介质的范围内。
代码可由一个或多个处理器执行，比如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它等价的集成的或分立的逻辑电路。相应地，如本文中所使用的术语“处理器”可以指代任何前述结构或适用于实现本文所述技术的任何其它结构。另外，在一些方面中，本文所述的功能可以在被配置为用于编码和解码或合并入组合的编解码器中的专用软件和/或硬件模块中提供。而且，这些技术可以在一个或多个电路或逻辑单元中完整地实现。
本申请的技术可以在各种设备或装置(包括无线手机、集成电路(IC)或IC的集合(例如，芯片组))中实现。本申请中描述了各种组件、模块或单元，以强调被配置为执行所公开的技术的装置的功能方面，但是不一定要求由不同硬件单元来实现。相反，如上所述，各个单元可以组合在编解码器硬件单元中，或者由与适合的软件和/或固件相结合的、互操作的硬件单元的集合(包括如上所述的一个或多个处理器)来提供。
已经描述了本发明的各个实施例。这些和其它实施例位于后面的权利要求的范围内。

Claims (48)

1.一种用于接收用户输入数据的方法，所述方法包括：
发送用户输入返回信道(UIBC)参数消息，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机(VNC)输入类型中的一个；以及
根据所述语音输入类型和所述VNC输入类型中的所规定的一个，接收UIBC消息中的用户输入数据。
2.如权利要求1所述的方法，其中，所述VNC输入类型是VNC按键事件输入类型和VNC指针事件输入类型中的一个。
3.如权利要求1所述的方法，其中，所述UIBC参数消息还针对所述语音输入类型规定了以下各项中的一个或多个：通过互联网协议的语音(VoIP)编解码器、VoIP编解码器组合、以及VoIP模式。
4.如权利要求1所述的方法，其中，所述UIBC参数消息包括实时流协议(RTSP)SET_PARAMETER请求消息。
5.如权利要求1所述的方法，
其中，所述UIBC参数消息包括用于规定语音输入类型并识别用户数据报协议(UDP)端口的实时流协议(RTSP)控制消息，以及
其中，接收所述用户输入数据包括使用所识别的UDP端口来接收语音输入数据。
6.如权利要求1所述的方法，其中，所述用户输入返回信道(UIBC)参数消息符合Wi-Fi显示(WFD)标准，所述方法还包括：
使用基于所述WFD标准的通信协议来建立连接。
7.一种发送用户输入数据的方法，所述方法包括：
接收用户输入返回信道(UIBC)参数消息，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机(VNC)输入类型中的一个；以及
根据所述语音输入类型和所述VNC输入类型中的所规定的一个，发送用户输入数据。
8.如权利要求7所述的方法，其中，所述VNC输入类型是VNC按键事件输入类型和VNC指针事件输入类型中的一个。
9.如权利要求7所述的方法，其中，所述UIBC参数消息还针对所述语音输入类型规定了以下各项中的一个或多个：通过互联网协议的语音(VoIP)编解码器、VoIP编解码器组合、以及VoIP模式。
10.如权利要求7所述的方法，其中，所述UIBC参数消息包括实时流协议(RTSP)SET_PARAMETER请求消息。
11.如权利要求7所述的方法，
其中，所述UIBC参数消息包括用于规定语音输入类型并识别用户数据报协议(UDP)端口的实时流协议(RTSP)控制消息，以及
其中，发送所述用户输入数据包括使用所识别的UDP端口来发送语音输入数据。
12.如权利要求7所述的方法，其中，所述用户输入返回信道(UIBC)参数消息符合Wi-Fi显示(WFD)标准，所述方法还包括：
使用基于所述WFD标准的通信协议来建立连接。
13.一种源设备，包括：
用于发送用户输入返回信道(UIBC)参数消息的单元，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机(VNC)输入类型中的一个；以及
用于根据所述语音输入类型和所述VNC输入类型中的所规定的一个，接收UIBC消息中的用户输入数据的单元。
14.如权利要求13所述的源设备，其中，所述VNC输入类型是VNC按键事件输入类型和VNC指针事件输入类型中的一个。
15.如权利要求13所述的源设备，其中，所述UIBC参数消息还针对所述语音输入类型规定了以下各项中的一个或多个：通过互联网协议的语音(VoIP)编解码器、VoIP编解码器组合、以及VoIP模式。
16.如权利要求13所述的源设备，其中，所述UIBC参数消息包括实时流协议(RTSP)SET_PARAMETER请求消息。
17.如权利要求13所述的源设备，
其中，所述UIBC参数消息包括用于规定语音输入类型并识别用户数据报协议(UDP)端口的实时流协议(RTSP)控制消息，以及
其中，所述用于接收所述用户输入数据的单元包括用于使用所识别的UDP端口来接收所述用户输入数据的单元。
18.如权利要求13所述的源设备，其中，所述用户输入返回信道(UIBC)参数消息符合Wi-Fi显示(WFD)标准，并且所述源设备还包括：
用于使用基于所述WFD标准的通信协议来建立连接的单元。
19.一种宿设备，包括：
用于接收用户输入返回信道(UIBC)参数消息的单元，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机(VNC)输入类型中的一个；以及
用于根据所述语音输入类型和所述VNC输入类型中的所规定的一个来发送用户输入数据的单元。
20.如权利要求19所述的宿设备，其中，所述VNC输入类型是VNC按键事件输入类型和VNC指针事件输入类型中的一个。
21.如权利要求19所述的宿设备，其中，所述UIBC参数消息还针对所述语音输入类型规定了以下各项中的一个或多个：通过互联网协议的语音(VoIP)编解码器、VoIP编解码器组合、以及VoIP模式。
22.如权利要求19所述的宿设备，其中，所述UIBC参数消息包括实时流协议(RTSP)SET_PARAMETER请求消息。
23.如权利要求19所述的宿设备，
其中，所述UIBC参数消息包括用于规定语音输入类型并识别用户数据报协议(UDP)端口的实时流协议(RTSP)控制消息，以及
其中，所述用于发送所述用户输入数据的单元包括用于使用所识别的UDP端口来发送语音输入数据的单元。
24.如权利要求19所述的宿设备，其中，所述用户输入返回信道(UIBC)参数消息符合Wi-Fi显示(WFD)标准，并且所述宿设备还包括：
用于使用基于所述WFD标准的通信协议来建立连接的单元。
25.一种包括一个或多个处理器的源设备，其中，所述一个或多个处理器被配置为：
发送用户输入返回信道(UIBC)参数消息，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机(VNC)输入类型中的一个；以及
根据所述语音输入类型和所述VNC输入类型中的所规定的一个，接收UIBC消息中的用户输入数据。
26.如权利要求25所述的源设备，其中，所述VNC输入类型是VNC按键事件输入类型和VNC指针事件输入类型中的一个。
27.如权利要求25所述的源设备，其中，所述UIBC参数消息还针对所述语音输入类型规定了以下各项中的一个或多个：通过互联网协议的语音(VoIP)编解码器、VoIP编解码器组合、以及VoIP模式。
28.如权利要求25所述的源设备，其中，所述UIBC参数消息包括实时流协议(RTSP)SET_PARAMETER请求消息。
29.如权利要求25所述的源设备，
其中，所述UIBC参数消息包括用于规定语音输入类型并识别用户数据报协议(UDP)端口的实时流协议(RTSP)控制消息，以及
其中，为了接收所述用户输入数据，所述处理器还被配置为使用所识别的UDP端口来接收语音输入数据。
30.如权利要求25所述的源设备，
其中，所述用户输入返回信道(UIBC)参数消息符合Wi-Fi显示(WFD)标准，并且
其中，所述处理器还被配置为使用基于所述WFD标准的通信协议来建立连接。
31.一种包括一个或多个处理器的宿设备，其中，所述一个或多个处理器被配置为：
接收用户输入返回信道(UIBC)参数消息，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机(VNC)输入类型中的一个；以及
根据所述语音输入类型和所述VNC输入类型中的所规定的一个来发送用户输入数据。
32.如权利要求31所述的宿设备，其中，所述VNC输入类型是VNC按键事件输入类型和VNC指针事件输入类型中的一个。
33.如权利要求31所述的宿设备，其中，所述UIBC参数消息还针对所述语音输入类型规定了以下各项中的一个或多个：通过互联网协议的语音(VoIP)编解码器、VoIP编解码器组合、以及VoIP模式。
34.如权利要求31所述的宿设备，其中，所述UIBC参数消息包括实时流协议(RTSP)SET_PARAMETER请求消息。
35.如权利要求31所述的宿设备，
其中，所述UIBC参数消息包括用于规定语音输入类型并识别用户数据报协议(UDP)端口的实时流协议(RTSP)控制消息，以及
其中，所述处理器还被配置为通过使用所识别的UDP端口发送语音输入数据，来发送所述用户输入数据。
36.如权利要求31所述的宿设备，其中，所述用户输入返回信道(UIBC)参数消息符合Wi-Fi显示(WFD)标准，并且
其中，所述处理器还被配置为使用基于所述WFD标准的通信协议来建立连接。
37.一种包括存储在其上的指令的计算机可读存储介质，当执行所述指令时将一个或多个处理器配置为：
发送用户输入返回信道(UIBC)参数消息，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机(VNC)输入类型中的一个；以及
根据所述语音输入类型和所述VNC输入类型中的所规定的一个，接收UIBC消息中的用户输入数据。
38.如权利要求37所述的计算机可读存储介质，其中，所述VNC输入类型是VNC按键事件输入类型和VNC指针事件输入类型中的一个。
39.如权利要求37所述的计算机可读存储介质，其中，所述UIBC参数消息还针对所述语音输入类型规定了以下各项中的一个或多个：通过互联网协议的语音(VoIP)编解码器、VoIP编解码器组合、以及VoIP模式。
40.如权利要求37所述的计算机可读存储介质，其中，所述UIBC参数消息包括实时流协议(RTSP)SET_PARAMETER请求消息。
41.如权利要求37所述的计算机可读存储介质，
其中，所述UIBC参数消息包括用于规定语音输入类型并识别用户数据报协议(UDP)端口的实时流协议(RTSP)控制消息，以及
其中，为了接收所述用户输入数据，所述指令还将所述一个或多个处理器配置为使用所识别的UDP端口来接收语音输入数据。
42.如权利要求37所述的计算机可读存储介质，
其中，所述用户输入返回信道(UIBC)参数消息符合Wi-Fi显示(WFD)标准，并且
其中，所述指令还将所述一个或多个处理器配置为使用基于所述WFD标准的通信协议来建立连接。
43.一种包括存储在其上的指令的计算机可读存储介质，当执行所述指令时，将一个或多个处理器配置为：
接收用户输入返回信道(UIBC)参数消息，其中，所述UIBC参数消息规定了语音输入类型和虚拟网络计算机(VNC)输入类型中的一个；以及
根据所述语音输入类型和所述VNC输入类型中的所规定的一个来发送用户输入数据。
44.如权利要求43所述的计算机可读存储介质，其中，所述VNC输入类型是VNC按键事件输入类型和VNC指针事件输入类型中的一个。
45.如权利要求43所述的计算机可读存储介质，其中，所述UIBC参数消息还针对所述语音输入类型规定了以下各项中的一个或多个：通过互联网协议的语音(VoIP)编解码器、VoIP编解码器组合、以及VoIP模式。
46.如权利要求43所述的计算机可读存储介质，其中，所述UIBC参数消息包括实时流协议(RTSP)SET_PARAMETER请求消息。
47.如权利要求43所述的计算机可读存储介质，
其中，所述UIBC参数消息包括用于规定语音输入类型并识别用户数据报协议(UDP)端口的实时流协议(RTSP)控制消息，以及
其中，为了发送所述用户输入数据，所述指令还将所述一个或多个处理器配置为使用所识别的UDP端口来发送语音输入数据。
48.如权利要求43所述的计算机可读存储介质，
其中，所述用户输入返回信道(UIBC)参数消息符合Wi-Fi显示(WFD)标准，并且
其中，所述指令还将所述一个或多个处理器配置为使用基于所述WFD标准的通信协议来建立连接。
CN201480005767.1A 2013-01-25 2014-01-24 针对无线显示设备的用户输入控制的无连接传输的方法、装置和计算机可读存储介质 Expired - Fee Related CN105027531B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361757010P 2013-01-25 2013-01-25
US61/757,010 2013-01-25
US201361757414P 2013-01-28 2013-01-28
US61/757,414 2013-01-28
US14/162,215 US9652192B2 (en) 2013-01-25 2014-01-23 Connectionless transport for user input control for wireless display devices
US14/162,215 2014-01-23
PCT/US2014/012965 WO2014116959A1 (en) 2013-01-25 2014-01-24 Connectionless transport for user input control for wireless display devices

Publications (2)

Publication Number Publication Date
CN105027531A true CN105027531A (zh) 2015-11-04
CN105027531B CN105027531B (zh) 2017-12-08

Family

ID=51222333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480005767.1A Expired - Fee Related CN105027531B (zh) 2013-01-25 2014-01-24 针对无线显示设备的用户输入控制的无连接传输的方法、装置和计算机可读存储介质

Country Status (7)

Country Link
US (1) US9652192B2 (zh)
EP (1) EP2949101A1 (zh)
JP (1) JP6224133B2 (zh)
KR (1) KR101780300B1 (zh)
CN (1) CN105027531B (zh)
TW (1) TWI519182B (zh)
WO (1) WO2014116959A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106941628A (zh) * 2016-01-04 2017-07-11 中国移动通信集团公司 同屏过程中辅助流的传输方法、发送终端及接收终端
CN108292999A (zh) * 2015-11-24 2018-07-17 哈曼国际工业有限公司 自动化系统设置
CN109144621A (zh) * 2017-06-16 2019-01-04 微软技术许可有限责任公司 投影仪控制
CN116156234A (zh) * 2022-12-19 2023-05-23 深圳创维－Rgb电子有限公司 基于无线投屏的反向控制方法、装置及无线投屏系统
CN114026896B (zh) * 2019-07-26 2024-01-09 谷歌有限责任公司 用于管理点对多点蓝牙网络中的多个多媒体通信链路的方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
US9582238B2 (en) 2009-12-14 2017-02-28 Qualcomm Incorporated Decomposed multi-stream (DMS) techniques for video display systems
US9413803B2 (en) * 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
US10135900B2 (en) 2011-01-21 2018-11-20 Qualcomm Incorporated User input back channel for wireless displays
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US20130013318A1 (en) 2011-01-21 2013-01-10 Qualcomm Incorporated User input back channel for wireless displays
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
JP6212280B2 (ja) * 2013-04-26 2017-10-11 キヤノン株式会社 通信装置、通信方法およびプログラム
JP6216149B2 (ja) 2013-04-26 2017-10-18 キヤノン株式会社 通信装置、通信方法およびプログラム
US9197680B2 (en) * 2013-05-23 2015-11-24 Qualcomm Incorporated Establishing and controlling audio and voice back channels of a Wi-Fi display connection
US9306992B2 (en) 2013-06-07 2016-04-05 Qualcomm Incorporated Method and system for using Wi-Fi display transport mechanisms to accomplish voice and data communications
JP6428071B2 (ja) * 2014-09-10 2018-11-28 セイコーエプソン株式会社 映像表示システム、映像表示システムを構成する映像送信装置と頭部装着型表示装置との間の映像無線伝送規格に従った接続方法、コンピュータプログラム、頭部装着型表示装置
KR20160119809A (ko) * 2014-02-03 2016-10-14 엘지전자 주식회사 무선 통신 시스템에서 세션을 초기화하는 방법 및 장치
DE112015001020T5 (de) * 2014-02-28 2016-12-08 Samsung Electronics Co., Ltd. Verfahren und Vorrichtung zum Wiedergeben von Multimedia-Inhalt in einem Kommunikationssystem
KR102283778B1 (ko) * 2014-03-04 2021-08-02 삼성전자주식회사 통신 시스템에서 콘텐츠를 제공하는 방법 및 장치
EP3091747A4 (en) 2014-11-27 2017-03-08 Sony Corporation Information processing device and information processing method
CN105722250B (zh) * 2014-12-03 2019-04-16 中国移动通信集团公司 一种数据传输与反向控制方法、设备及系统
CN113190495A (zh) 2014-12-08 2021-07-30 安博科技有限公司 从远程网络区域进行内容检索的系统及方法
WO2016110785A1 (en) 2015-01-06 2016-07-14 Umbra Technologies Ltd. System and method for neutral application programming interface
KR102281341B1 (ko) 2015-01-26 2021-07-23 엘지전자 주식회사 싱크 디바이스 및 그 제어 방법
EP3251301A4 (en) 2015-01-28 2018-10-10 Umbra Technologies Ltd. System and method for a global virtual network
EP4325804A2 (en) 2015-04-07 2024-02-21 Umbra Technologies Ltd. Multi-perimeter firewall in the cloud
US20160308917A1 (en) * 2015-04-20 2016-10-20 Intel Corporation Sensor input transmission and associated processes
US10129892B2 (en) * 2015-06-01 2018-11-13 Qualcomm Incorporated Techniques to manage reverse channel audio sessions
EP3308504A4 (en) 2015-06-11 2019-01-02 Umbra Technologies Ltd. System and method for network tapestry multiprotocol integration
CN105045548B (zh) * 2015-06-16 2018-12-25 广州视睿电子科技有限公司 一种无线传屏方法、扩展设备和无线传屏系统
WO2017043718A1 (ko) * 2015-09-09 2017-03-16 엘지전자 주식회사 Wfd 싱크에 의해 영상의 오리엔테이션을 변화시키는 방법 및 장치
CN106612445A (zh) * 2015-10-21 2017-05-03 中国移动通信集团公司 一种无线同屏音频通道的控制方法、发送设备及接受设备
ES2931177T3 (es) 2015-12-11 2022-12-27 Umbra Tech Ltd Sistema y método para lanzamiento de información a través de un tapiz de red y granularidad de una marca
US20170195735A1 (en) * 2015-12-31 2017-07-06 Nagravision S.A. Method and apparatus for peripheral context management
WO2017187263A1 (en) 2016-04-26 2017-11-02 Umbra Technologies Ltd. Sling-routing logic and load balancing
US10671261B2 (en) 2017-01-17 2020-06-02 Opentv, Inc. Application dependent remote control
JP6981138B2 (ja) 2017-09-25 2021-12-15 セイコーエプソン株式会社 電子機器および電子機器の制御方法
US11379111B2 (en) 2020-09-11 2022-07-05 Hulu, LLC Dynamic user interface based on input classifications
KR20220048245A (ko) * 2020-10-12 2022-04-19 엘지전자 주식회사 무선 디바이스 및 무선 시스템
WO2023128206A1 (ko) * 2021-12-30 2023-07-06 삼성전자주식회사 소스 장치, 싱크 장치 및 그 동작 방법들

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110099374A1 (en) * 2009-10-27 2011-04-28 Red Hat, Inc. Authentication of a secure virtual network computing (vnc) connection
US20110107388A1 (en) * 2009-11-02 2011-05-05 Samsung Electronics Co., Ltd. Method and apparatus for providing user input back channel in audio/video system
US20130003623A1 (en) * 2011-01-21 2013-01-03 Qualcomm Incorporated User input back channel for wireless displays

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020112181A1 (en) * 2000-12-12 2002-08-15 Smith Mark Elwin Multilevel secure network access system
RU2003121400A (ru) * 2000-12-15 2005-02-10 Квэлкомм Инкорпорейтед (US) Формирование и реализация протокола обмена данными и интерфейса для пересылки сигналов с высокой скоростью передачи данных
US20020161476A1 (en) * 2001-04-05 2002-10-31 David Panofsky System for vending and dispensing digital files
US7751316B2 (en) 2005-05-13 2010-07-06 Yahoo! Inc. Relay Server for SIP/RTP messages with buffer management
US7881315B2 (en) * 2006-06-27 2011-02-01 Microsoft Corporation Local peer-to-peer digital content distribution
US9065667B2 (en) * 2006-09-05 2015-06-23 Codian Limited Viewing data as part of a video conference
US8549093B2 (en) * 2008-09-23 2013-10-01 Strategic Technology Partners, LLC Updating a user session in a mach-derived system environment
TWI444044B (zh) * 2009-03-31 2014-07-01 Ibm 遠距應用中傳輸資料之裝置、方法與電腦程式產品
US8878912B2 (en) * 2009-08-06 2014-11-04 Qualcomm Incorporated Encapsulating three-dimensional video data in accordance with transport protocols
US8559340B2 (en) * 2009-12-22 2013-10-15 Samsung Electronics Co., Ltd. Method and apparatus for service discovery in Wi-Fi direct network
BR112013017931A2 (pt) * 2011-01-14 2018-09-18 Samsung Electronics Co Ltd método de realizar comunicação entre um dispositivo coletor e um dispositivo de origem, em uma rede direta de wi-fi, método de realizar comunicação entre um dispositivo de origem e um dispositivo coletor em uma rede direta de wi-fi, dispositivo de comunicação para realizar comunicação em uma rede direta de wi-fi, e mídia de gravação legível por computador
WO2012099338A2 (ko) * 2011-01-18 2012-07-26 엘지전자 주식회사 사용자 입력 전달 방법 및 그를 이용한 장치
US9065876B2 (en) * 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US9413803B2 (en) * 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
US20130013318A1 (en) * 2011-01-21 2013-01-10 Qualcomm Incorporated User input back channel for wireless displays
WO2012138660A2 (en) * 2011-04-07 2012-10-11 Activevideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110099374A1 (en) * 2009-10-27 2011-04-28 Red Hat, Inc. Authentication of a secure virtual network computing (vnc) connection
US20110107388A1 (en) * 2009-11-02 2011-05-05 Samsung Electronics Co., Ltd. Method and apparatus for providing user input back channel in audio/video system
US20130003623A1 (en) * 2011-01-21 2013-01-03 Qualcomm Incorporated User input back channel for wireless displays

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292999A (zh) * 2015-11-24 2018-07-17 哈曼国际工业有限公司 自动化系统设置
CN108292999B (zh) * 2015-11-24 2021-03-30 哈曼国际工业有限公司 网络化系统中的控制装置和控制方法
CN106941628A (zh) * 2016-01-04 2017-07-11 中国移动通信集团公司 同屏过程中辅助流的传输方法、发送终端及接收终端
CN106941628B (zh) * 2016-01-04 2019-12-13 中国移动通信集团公司 同屏过程中辅助流的传输方法、发送终端及接收终端
CN109144621A (zh) * 2017-06-16 2019-01-04 微软技术许可有限责任公司 投影仪控制
US11663059B2 (en) 2017-06-16 2023-05-30 Microsoft Technology Licensing, Llc Projector control
CN114026896B (zh) * 2019-07-26 2024-01-09 谷歌有限责任公司 用于管理点对多点蓝牙网络中的多个多媒体通信链路的方法
CN116156234A (zh) * 2022-12-19 2023-05-23 深圳创维－Rgb电子有限公司 基于无线投屏的反向控制方法、装置及无线投屏系统

Also Published As

Publication number Publication date
TW201436604A (zh) 2014-09-16
TWI519182B (zh) 2016-01-21
US9652192B2 (en) 2017-05-16
US20140210693A1 (en) 2014-07-31
JP2016511965A (ja) 2016-04-21
WO2014116959A1 (en) 2014-07-31
CN105027531B (zh) 2017-12-08
JP6224133B2 (ja) 2017-11-01
KR20150110724A (ko) 2015-10-02
KR101780300B1 (ko) 2017-10-10
EP2949101A1 (en) 2015-12-02

Similar Documents

Publication Publication Date Title
CN105027531A (zh) 针对无线显示设备的用户输入控制的无连接传输
US10911498B2 (en) User input back channel for wireless displays
JP6219310B2 (ja) ワイヤレスディスプレイのためのユーザ入力バックチャネルを介した双方向トンネリング
US9418023B2 (en) Method for delivering user input, and device using same
CN104115466B (zh) 具有多屏幕服务的无线显示器
CN103875225A (zh) 用于无线显示设备的反馈信道
US8677029B2 (en) User input back channel for wireless displays
JP5908592B2 (ja) インターネットプロトコルを介したヒューマン入力デバイスコマンドの送信
US10135900B2 (en) User input back channel for wireless displays
CN104756507A (zh) 在计算设备与运载工具音响主机之间建立无线显示会话
CN106664458A (zh) 用于无线显示的直接流式传输
CN105393546A (zh) 在用于无线显示的源设备中用于资源利用的方法和装置
RU2577184C2 (ru) Обратный канал ввода данных пользователем для беспроводных дисплеев
CN107147887A (zh) 无线投影方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171208

Termination date: 20190124

CF01 Termination of patent right due to non-payment of annual fee