CN105122822A - 用于音视频的无线对接系统 - Google Patents

用于音视频的无线对接系统 Download PDF

Info

Publication number
CN105122822A
CN105122822A CN201480013084.0A CN201480013084A CN105122822A CN 105122822 A CN105122822 A CN 105122822A CN 201480013084 A CN201480013084 A CN 201480013084A CN 105122822 A CN105122822 A CN 105122822A
Authority
CN
China
Prior art keywords
data
plugging
upstream
order
present
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480013084.0A
Other languages
English (en)
Other versions
CN105122822B (zh
Inventor
W.迪斯
H.T.J.A.G.范德桑登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47877844&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN105122822(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN105122822A publication Critical patent/CN105122822A/zh
Application granted granted Critical
Publication of CN105122822B publication Critical patent/CN105122822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/78—Architectures of resource allocation
    • H04L47/783—Distributed allocation of resources, e.g. bandwidth brokers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Selective Calling Equipment (AREA)

Abstract

主机设备（300）为接驳方设备（250）提供无线对接。该主机具有远程客户端单元（210），该远程客户端单元（210）用于通过接驳方设备中的远程服务器单元（251）向应用（252）提供至少一个音频/视频（AV）呈现功能。该主机具有传递单元(211，212，213，214)，所述传递单元被布置用于使得能够向接驳方设备发送第一AV数据的下行流，并且从接驳方设备接收所要呈现的第二AV数据的上行流。该主机设备具有AV路由器（310），该AV路由器（310）用于处理下行流和上行流，以便在将下行流发送到接驳方设备之前由预定模式替换下行流中的第一AV数据，并且在从接驳方设备接收到上行流之后且在对该AV数据进行呈现之前由第一AV数据的至少一部分替换上行流中的第二AV数据的至少一部分。有利地，无线通信中所需的带宽得到减少。

Description

用于音视频的无线对接系统
技术领域
本发明涉及一种与接驳方设备进行无线对接的主机设备，该主机设备被布置用于呈现音频或视频（AV）数据。本发明还涉及一种用于无线对接到主机设备的接驳方设备、一种用于在主机与接驳方设备之间进行无线对接的方法和计算机程序产品。
主机设备包括用于供应无线通信的主机通信单元、用于向用于使得能够通过声音设备呈现音频数据或通过屏幕呈现视频数据的远程客户端提供至少一个AV呈现功能的远程客户端单元和被布置用于使得能够向接驳方设备发送第一AV数据的下行流和从接驳方设备接收所要呈现的第二AV数据的上行流的至少一个传递单元。接驳方设备包括用于供应无线通信的接驳方通信单元、用于与用于使得能够实现所述AV呈现功能的远程客户端单元协作的远程服务器单元以及用于接收AV数据的下行流和用于生成AV数据的上行流的应用单元。
本发明涉及无线通信领域，例如通过Wi-Fi，并且更加具体地涉及具有音频和/或视频呈现能力的无线对接系统的设置。
背景技术
用于便携式电子设备的有线对接站通常仅具有单个物理对接连接器来一次对接一个设备。对接站可以为便携式设备提供功率以及该设备自身不提供的外围功能，例如（更）大的屏幕、（更）高品质的扬声器、鼠标和键盘。
从例如WO2012/117306A1中可以了解到无线对接。无线对接站（称为主机）使得移动设备（称为接驳方）能够通过接驳方设备和主机设备之间的无线通信访问它的外设。无线对接站使得接驳方设备中的应用能够接收音频和/或视频（AV）数据。AV数据可以来源于主机的外设或外部资源，并且在通常称为下行流的数据流中在接驳方设备的方向上传递。接驳方设备中的应用可以添加或处理该AV数据，和或生成AV数据，并且向主机设备发送通常称为上行流的AV数据的流。
发明内容
由于无线对接系统中通信的无线本质，可用带宽是有限的。然而，在已知的无线对接系统中，包含音频和/或视频数据的上行流和下行流在主机与接驳方之间同时传递。
本发明的目的是提供一种用于无线对接的系统，其减小无线对接中AV功能所需的带宽。
为此目的，无线对接系统包括如开头段落中描述的主机设备和接驳方设备。按照本发明的第一个方面，主机设备包括AV路由器，该AV路由器被布置用于处理下行流和上行流，以便在将下行流发送到接驳方设备之前由预定模式替换第一AV数据，并且在从接驳方设备接收到上行流之后且在通过所述AV呈现功能进行呈现之前由第一AV数据的至少一部分替换第二AV数据的至少一部分。该AV路由器被布置用于识别第二AV数据中的预定模式，并且由第一AV数据的至少一部分替换与所述识别出的模式对应的第二AV数据。
为此目的，按照本发明的另一个方面，该接驳方设备被布置用于将预定模式作为上行流的一部分包含到第二AV数据中。因为接驳方设备将预定模式包含到第二AV资料中，所以该预定模式为上行流的一部分，并且该AV路由器被布置用于识别第二AV数据中的预定模式，并且由第一AV数据的至少一部分替换与所述识别出的模式对应的第二AV数据。有利地，该AV路由器可以将该预定模式插入到下行流中并且由最初意图的AV数据替换上行流中返回的模式。
这些措施具有以下效果。通过由预定模式替换下行流的第一AV数据中的原始AV数据，下行流所需的带宽得到减少，因为使用较少的视频数据传递预定模式。而且，上行流所需的带宽得到减少，因为使用较少的视频数据来传递由应用插入到上行流的第二AV数据中的预定模式。在主机设备中，所插入的模式如意图的那样被原始视频内容替换，并且结果得到的第二AV数据被用于呈现。有利地，需要通过无线通信传递的数据量得到了减少。
可选地，AV路由器被布置用于从接驳方设备接收呈现命令，这些呈现命令指示所述由第一AV数据的至少一部分替换第二AV数据的至少一部分。有利地，AV路由器子系统可以使用从接驳方接收的关于连接到第二无线设备的AV输入和输出外设的内容的所意图用途的信息，来确定具有在第一无线设备与第二无线设备之间来回发送的内容的最小副本的路由路径。
可选地，接驳方设备包括接驳方路由器，该接驳方路由器用于路由和处理接驳方设备中的上行流和下行流，并且用于与AV路由器进行通信，以便交换路由控制命令，从而确定由主机设备支持的AV路由。
可选地，该预定模式包括下列至少一个：
-具有单个背景颜色的视频模式；
-具有一个或多个几何对象的视频模式；
-具有单个前景颜色的视频模式；
-静音的音频模式；
-预定声音序列的音频模式；
-时间信息，并且该AV路由器被布置用于使用该时间信息来确定在下行流中发送第一数据与在上行流中接收第二AV数据之间的延迟，并且在所述替换之前按照所确定的延迟来延迟来自AV输入设备的AV内容，以便同步所要呈现的AV数据。有利地，通过使用各个上述元件来选择该模式，所需的带宽得到减少并且该模式使得能够实现由AV路由器进行的识别。
所附权利要求中给出了按照本发明的设备和方法的其它优选实施例，其公开内容通过引用并入本文中。
附图说明
从在下面的描述中以示例方式并且参照附图描述的实施例中，本发明的这些和其它方面将会变得显而易见，并且将参照这些实施例对本发明的这些和其它方面进一步加以阐述，在附图中
图1示出无线对接系统，
图2示出呈现如接驳方中的应用提供的AV数据的对接系统，
图3示出通过AV路由器呈现AV数据的对接系统，以及
图4示出具有接驳方路由器单元的无线对接系统的示例。
这些图纯粹是示意性的，并且未按比例绘制。在这些图中，与已经描述的元件相对应的元件可以具有相同的附图标记。
具体实施方式
现在讨论无线对接系统的详细实现方式示例。无线对接是关于使得便携式或移动设备（所谓的无线接驳方或WD）能够无线地连接到一组外设，使得接驳方设备上的应用能够利用这些外设来改善用这些应用进行工作/与这些应用进行交互的体验和生产率。与外设的接合是通过所谓的无线对接主机（WDH）来执行的。
可能的接驳方包括（但不局限于）移动电话、膝上型计算机、平板电脑、便携式媒体播放器、摄像机、电子手表。可能的WDH包括（但不局限于）专用无线对接站设备、显示设备、音频设备、打印机、PC。可能的外设包括（但不局限于）无线鼠标、键盘、显示设备、音频设备、网络摄像机、打印机、存储设备、USB集线器。
图1示出无线对接系统。现有技术系统包括主机设备100，该主机设备100用于与接驳方设备120进行无线通信，接驳方设备120例如是移动电话、膝上型计算机或平板计算机。下面详细描述接驳方设备120。主机设备耦合到用来呈现音频或视频(AV)数据的多个外设110、111、112。注意，在本文档中，AV数据指的是任何类型的视频数据、音频数据或者视频和音频数据的组合。外设可以包括像是投影机或显示屏幕111的视频输出设备，像是摄像机或网络摄像机110的视频输入设备，像是触摸屏的图形交互设备，像是扬声器系统112、头戴耳机和/或麦克风的音频输入/输出设备，像是鼠标、3D手势检测设备或房间控制单元的用户控制设备；像是数据存储单元或打印机的数据处理设备。
主机设备100具有用于供应所述无线通信的主机通信单元102，例如WiFi单元，其本身是公知的。主机设备还具有被布置用于对接至少一个接驳方设备的对接处理器101。将无线设备对接到无线对接主机（WDH）的过程是通过诸如WiFi、无线串行总线或蓝牙这样的可用无线电信道建立数据链路的过程，并且如前面参照WO2012/117306A1讨论的那样本身是已知的。可以例如在2007年7月26日发布的《蓝牙规范，核心包版本2.1+EDR》中找到蓝牙的描述。对接过程牵涉为接驳方设备提供访问一个或多个外设的途径。
接驳方设备120具有用于供应与主机的所述无线通信的接驳方通信单元121。接驳方设备还具有接驳方处理器122，该接驳方处理器122被布置用于作为接驳方设备与主机设备进行对接，以获得访问至少一个外设的途径。
在无线对接中，接驳方设备无线地与对接站（亦称为无线对接主机或WDH）连接，以便挂钩到对接站所提供的外设（例如，屏幕、键盘）。这些设备预期是支持WiFi的，例如版本'n'（如IEEE802.11n中所定义的）。然而WiFi'n'具有这样的缺点：所支持的数据速率不够高，不足以支持一些无线对接使用情况。例如，为了在对接情形下在对接站的高分辨率屏幕上流畅地玩视频游戏，需要支持具有例如60Hz下每像素24比特的1280x1920像素的屏幕更新速率：这相当于3375Mbit/s的数据速率，远远超过最先进的WiFi'n'设置中承诺的300Mbit/s。此外，可用带宽通常将必须在与无线对接站连接的多个外设（比如USB网络摄像机、存储设备或音频设备）之间分享。解决带宽问题的一个方式是使用压缩（比如H.264来压缩显示输出）。然而，这增加了接驳方和对接站中需要的资源、增加了用户与对接站提供的I/O外设的交互的时延。它还降低了例如显示输出的质量。由于可以应用的压缩量的限制，因此尽可能多地降低接驳方与对接主机之间所需的流量是重要的。
图2示出呈现如接驳方中的应用提供的AV数据的对接系统。现有技术无线对接主机200被布置用于与接驳方设备250进行无线通信，并且用于呈现音频或视频（AV）数据，类似于前面的图1。主机设备具有用于供应所述无线通信的主机通信单元和用于如箭头241所指示的那样向远程客户端提供至少一个AV呈现功能的远程客户端单元210。注意，远程客户端单元和远程服务器单元进行通信以交换控制数据，但是视频数据被假设为是从接驳方流送到主机的，即所谓的上行流。从主机流送到接驳方的数据被称为下行流。主机设备具有至少一个传递单元211、212、213、214，所述传递单元被布置用于使得能够向接驳方设备发送第一AV数据的下行流。这些传递单元中的至少一个被进一步布置用于从接驳方设备接收所要呈现的第二AV数据的上行流。
在图中的示例中，第一传递单元是耦合到显示屏幕204的视频输出单元211，其正在如箭头242所指示的那样接收视频数据的上行流。第二传递单元是接合到像是因特网的网络230的网络输入/输出单元212，传递AV数据的另一个上行流和/或下行流。第三传递单元是耦合到摄像机201的视频输入单元213，其如箭头245所指示的那样发送视频数据的上行流。第四传递单元是接合到用于音频输入的麦克风202的音频单元，其正如箭头246所指示的那样发送音频数据的下行流，并且第四传递单元还耦合到用于音频输出的扬声器系统203，以用于如箭头244所指示的那样接收音频数据的上行流。
接驳方设备具有远程服务器单元251，用于与远程客户端单元210协作以使得能够实现所述AV呈现功能。接驳方设备还具有应用单元252，用于接收AV数据的第一流并且用于基于该AV数据的第一流生成AV数据的第二流。在实践中，该应用单元可以是运行接收和/或发送音频和/或视频数据的应用或所谓app的处理器。
通过网络连接流送高分辨率视频可能需要非常大的带宽。如图2所图示的，为了显示输出，将视频内容从接驳方发送到对接站，以使得对接站能够将其呈现在所连接的显示外设上。如果摄像机外设与对接站连接，则可以将视频内容从对接站发送到接驳方。通常，网络摄像机输出被接驳方应用作为用户界面的一部分插入到视频输出中，而不做进一步处理。如果使用与对接站相连接的显示器来呈现该用户界面，则这意味着必须将来自网络摄像机的视频内容从对接站下行流送到接驳方并且从接驳方上行流送回到对接站，才能够将其显示在监视器上，从而使用不必要的带宽。
可以在无线对接设备中使用下面描述的系统，来针对这一情形并且也可能针对其它情形通过减小上行链路带宽以及减小下行链路带宽而减小所使用的带宽。
图3示出通过AV路由器呈现AV数据的对接系统。类似于图2，无线对接主机300被布置用于与接驳方设备250进行无线通信。主机设备具有AV路由器310，该AV路由器310被布置用于处理上行流和下行流，以便在将下行流发送到接驳方设备之前由预定的模式替换第一AV数据，并且在从接驳方设备接收到上行流之后且在通过所述AV呈现功能进行呈现之前由第一AV数据的至少一部分替换第二AV数据的至少一部分。
在图中的示例中，主机具有与图2中的主机设备200相同的传递单元。主机设备300还具有AV路由器310，该AV路由器310被布置用于处理上行流和下行流，以便在将下行流发送到接驳方设备之前由预定的模式替换第一AV数据，并且在从接驳方设备接收到上行流之后且在通过所述AV呈现功能进行呈现之前由第一AV数据的至少一部分替换第二AV数据的至少一部分。现在视频输出单元211正在如箭头342所指示的那样，通过AV路由器接收处理过的视频数据流。网络输入/输出单元212正在通过AV路由器传递处理之后的AV数据的另一个上行流和/或下行流343。视频输入单元213如箭头345所指示的那样，通过AV路由器发送视频数据的下行流。音频单元214正在如箭头346所指示的那样，通过AV路由器发送音频数据的下行流，并且正在如箭头344所指示的那样，通过AV路由器接收音频数据的上行流。
本发明的主要元件是由运行一个或多个应用的第一无线设备和一个或多个AV输出外设组成的系统，该无线设备与第二无线设备相连接，该第二无线设备与一个或多个AV输入外设相连接，由此该系统可以基于来自于AV输入外设的内容和递送给AV输出外设的内容自动确定路由路径，内容的最小副本在第一无线设备与第二无线设备之间来回发送。
在一个实施例中，该系统由第一无线设备(通常为接驳方)和第二无线设备(通常是固定的，像是PC)组成。该第二无线设备与至少一个视听输入外设和视听输出外设相连接，并且具有AV路由器子系统，该AV路由器子系统具有处理单元，这些输入和输出外设耦合到所述处理单元。该子系统对在与第二无线设备相连接的AV输出外设上呈现直接从AV输入外设或外部源（例如家庭网络/因特网）接收的视听内容进行控制。
可选地，AV路由器可以使用由接驳方设备提供的呈现指令(例如，屏幕的区域)。AV路由器子系统可以使用从接驳方接收的关于与第二无线设备相连接的AV输入和输出外设的内容的意图使用的信息来确定具有在第一无线设备与第二无线设备之间来回发送的内容的最小副本的路由路径。
可选地，AV路由器被布置用于从接驳方设备(例如，从远程服务器单元)接收呈现命令。这些呈现命令可以指示所述由第一AV数据的至少一部分替换第二AV数据的至少一部分。这些呈现命令可以包括视频呈现命令，诸如：
-指示用于呈现第一AV数据的屏幕区域的命令；
-指示要在屏幕上呈现的第一AV数据的区域的命令；
-指示第二AV数据中指示呈现区域的AV模式的命令；
-指示用于呈现第一AV数据的参考点的命令；
-指示要在第二AV数据中检测的用于定位第一AV数据的视觉标记的命令；
-指示用于选择用于呈现第一AV数据的预定义位置的指示符的命令。
可选地，如接驳方设备提供的呈现指令包括下列一个或多个：待应用的压缩编解码器、待应用的过滤器组、待应用的质量下降参数、待应用的图像变形、待应用的同步/时序参数。
此外，这些呈现命令可以包括图形呈现命令，诸如：
-指示所要呈现的图形元素的命令；
-指示呈现图形元素的位置的命令；
-指示用于开始、停止或暂时显示图形元素的时间指示的命令；
-指示用于使得能够实现与用户的交互的图形用户界面的命令；
-指示用于使得能够通过用户动作进行控制的图形控制元素的命令。
这些图形呈现命令可以涉及显示输出，即，示出接驳方上运行的(多个)应用的用户界面的显示输出。这样的显示输出从接驳方设备发送到主机设备，以便与来自A/V输入设备的经过重新路由的A/V内容同时显示在A/V输出设备上。
此外，这些呈现命令可以包括音频呈现命令，诸如：
-指示用于呈现第一AV数据的音频数据的增益系数的命令；
-指示用于呈现第一AV数据的音频数据与第二AV数据的音频数据的组合的混合比率的命令。
在实践中，这些呈现指令可以进一步包括下列之一或多个：一组坐标、屏蔽（mask）、色键、专用命令(例如，远程显示协议内的)、参考点、视觉标记、预定义位置、图标、音量等等。此外，这些呈现指令可以是与显示输出结构相关地给出的，即，示出第一无线设备上运行的(多个)应用的用户界面的显示输出。该显示结构是从接驳方发送到主机，以便与AV路由器截获的来自A/V输入设备的A/V内容同时显示在A/V输出设备上。
可选地，这些呈现指令包括识别指令，并且主机设备基于由第一无线设备提供的识别指令处理由A/V输入外设提供的视听内容且可以将处理结果发送到接驳方。这些识别指令可以包括下列之一或多个：图像识别、文本识别、语音识别、运动识别。可选地，由主机提供的处理结果包括下列一个或多个：书面文本(被识别为来自A/V输入外设的内容的一部分)、URL/URI、标识符串、图标、动作标识。
可选地，该系统由无线对接设备和无线主机设备组成。该主机可以通过Wi-Fi或以太网连接到一个或多个外部源(例如，家庭网络/因特网)。AV路由器对在例如A/V输出外设上呈现从外部源接收的视听内容进行控制。
可选地，AV路由器被布置用于仅在全屏幕显示输出的模式化区域中识别预定的模式并且由相应量的第一AV数据替换模式化区域中的第二AV数据。此外，AV路由器可以被布置用于在模式化区域中识别预定模式的缩放和/或裁剪、处理与缩放和/或裁剪相对应的第一AV数据并且由相应量的经过处理的第一AV数据量替换模式化区域中的第二AV数据。
在实践中，视听模式还可以在由接驳方设备以已知的方式生成的同时指示呈现区域，从而可以被主机设备识别。该模式可以由主机设备生成并且被作为视频数据插入到下行流中。凭借接驳方设备还在显示输出中包括该模式，该模式变成上行流的一部分并且可以被主机设备识别。
可选地，主机设备生成作为A/V内容一部分发送到接驳方设备的模式；实际上，主机设备使用上行流中返回的模式作为从接驳方设备发送的关于如何显示来自主机的A/V输入设备的原始内容的呈现指令的一部分。这样的模式的使用是有益的，因为该系统实现了A/V吞吐量优化而无需修改接驳方设备。传统的远程桌面系统会要求应用向呈现设备发送附加的坐标和缩放信息。接驳方应用如其在接收到视频流时将复制的那样复制所接收的模式。此外，选择适当的模式使得高度压缩第一无线设备与第二无线设备之间往来的A/V流成为可能。例如，该模式包括以下至少一个：黑色背景、一个或多个白色正方形或矩形，它们可能具有不同的大小，以便检测模式的缩放和/或裁剪。因此，模式可以指示A/V内容的位置，并且通过比较最初从呈现设备发送到发送设备的模式与第二视频数据中从接驳方设备接收回来的模式来指示视频是否被缩放和/或裁剪。
可选地，由第二无线设备生成的模式包括第二无线设备用来确定延迟的时间信息，来自A/V输入设备的A/V内容需要以该延迟来呈现在A/V输出设备上，以便与正在从第一无线设备发送到第二无线设备的显示输出同步。
在另一个实施方式中，该系统为无线对接系统，第二无线设备是无线对接站并且第一无线设备是对接到该无线对接站的便携式设备（称为无线接驳方）。
可选地，由接驳方设备发送的呈现命令包括关于应当与上行流中的AV数据复用在一起的附加流的信息或者第一和/或第二AV数据的外部源或目的地的指示。这些指令可以包括下列一个或多个：URL、URI、USB设备标识符、SAMBA/CIFS/NFS/WEBDAV目的地、Skype地址、电子邮件地址、IMS/SIP地址、流送目的地(RTP)。可选地，主机设备可以通过像是因特网的网络将第二AV数据传递到目的地。可以在将由A/V输入外设提供的视听内容发送到由第一无线设备指示的目的地之前，使用由第一无线设备提供的指令(例如，待应用的压缩编解码器)对其进行处理。例如，可以按照诸如Skype这样的安全协议对使用由接驳方提供的指令发送到目的地的视听内容和由主机从外部源(例如，因特网上的服务器)接收的视听内容进行打包。该主机可以实现该安全协议。接驳方将向主机提供诸如目的地URL这样的必要信息，以便设定协议连接。主机可以基于接驳方中可用的网络连接信息(例如，TCP/IP端口及协议类型)来路由视听内容。
可选地，主机设备实现由两个安全协议收发器组成的安全协议服务器，并且其中接驳方负责设定到期望目的地(例如，因特网上的服务器)的连接。在无线对接环境中，通常来源于接驳方设备的所有网络流量都将行经主机设备，所以接驳方设备能够截获连接的设置并且将连接路由到第一安全协议收发器，以设定到第一无线设备的安全连接。由第一安全协议接收器接收的连接信息被主机用来利用第二安全协议收发器设定到从接驳方接收到的原始目的地的新的连接。第一安全协议收发器可以借助其上视听内容未被加密的内部总线连接到第二安全协议收发器。在通过安全协议连接之一接收到视听内容时，第二无线设备在借助补充的安全协议收发器进行重新发送之前用来自所连接的视听输入外设的内容替换视听内容。
可选地，主机设备实现可由接驳方控制的通用安全协议，比如HTTPS。接驳方负责设定到期望目的地的连接。在建立到期望目的地的连接之后，第一无线设备将安全连接信息(例如，加密密钥)与如何设定可以使用从接驳方接收的安全连接信息保证安全的视听流(例如，RTP)的指令(例如，SDP描述符)一起发送到第二无线设备。
可选地，接驳方设备具有子系统，该子系统与无线主机设备(例如，与AV路由器)交流关于连接到无线主机设备的AV输入和输出外设以及外部源的信息，以确定具有在无线主机与接驳方设备之间来回发送的内容的最小副本的接驳方路由路径。这样的接驳方子系统称为接驳方路由器。
图4示出具有接驳方路由器单元的无线对接系统的示例。在图中，主机具有与图2中的主机设备200相同的传递单元211、212、213、214和外设201、202、203、204，并且接驳方具有与图2中的接驳方设备250相同的远程服务器单元251，该远程服务器单元251用于与远程客户端单元210和应用单元252协作。类似于图3，无线对接主机400被布置用于与接驳方设备450进行无线通信。该主机设备具有AV路由器410，AV路由器410被布置用于处理上行流442和下行流441，以在将修改的下行流发送到接驳方设备之前，由预定的模式替换第一AV数据。接驳方设备具有接驳方路由器460，该接驳方路由器460用于路由和处理接驳方设备中的上行流和下行流。AV路由器410还被布置用于处理下行流和上行流，以便在从接驳方设备接收到上行流之后且在通过所述AV呈现功能进行呈现之前用第一AV数据的至少一部分替换第二AV数据的至少一部分。
在一个实际的示例中，接驳方应用单元252中的应用可能想要使用网络摄像机201、麦克风202、显示器204和(多个)扬声器203以及对接主机400的因特网连接230来设定视频会议。在图4中，接驳方450被对接到对接主机400。作为对接程序的一部分，接驳方和对接主机交换可以包括路由控制命令的xml封装的服务能力/请求数据，基于该xml封装的服务能力/请求数据，AV路由器410和/或接驳方路由器460可以确定对接主机支持的AV吞吐量优化能力。在接驳方确定了对接主机支持期望的外设能力之后，本示例中的接驳方将请求对接主机提供显示器204来进行视频播放、提供网络摄像机201来进行视频记录、提供麦克风202来进行音频记录并且提供（多个）扬声器203来进行音频播放。接驳方路由器可以与对接AV路由器通信来建立从AV输入设备直接到AV输出设备的音频和视频的路由，并且替代地在下行流中插入预定的模式。该路由可以基于由接驳方路由器进行的指示应用想要使用可用的音频和视频资源的系统事件的接收。在AV路由器接收到来自接驳方路由器的请求时，对接主机将使所请求的外设暴露给接驳方并且将A/V路由器配置成将来自网络摄像机的视频和/或来自因特网连接的视频直接路由到显示器，并且将来自麦克风的音频直接路由到因特网连接并将来源于因特网连接的音频直接路由到(多个）扬声器。接驳方路由器可以向接驳方应用提供虚拟的网络摄像机驱动程序461以便提供第一视频模式444和/或虚拟外部AV驱动程序以生成具有第二视频模式445的流，这两者都可以用在该应用中。视频模式可以是通过如第一AV数据中的下行流441中指示的预定模式提供和/或控制的，所述预定模式替换由AV路由器410插入的原始视频数据。
在这个示例中，当应用在接驳方上启动时，可以与也运行视频会议应用的远程站点建立因特网连接。来源于远程因特网源的AV流由AV路由器路由，例如在音频视频多路复用器中捕获并且与来源于接驳方的远程桌面输出443一起多路复用。应用的用户界面(包括视频数据447和/或音频数据446，并且还包括来自上述虚拟驱动程序的所述预定视频或音频模式)与其它的桌面内容一起通过上行流传送到对接主机，该上行流例如是通过远程桌面服务器单元251和远程桌面客户端单元210的上行流443或者作为独立的AV上行流442。
来自视频输入单元213的任何视频数据被转发到AV路由器。AV路由器例如使用视频模式检测器411确定第二AV数据中第一视频模式和/或第二视频模式的位置。对如检测到的一个或多个视频模式的位置进行处理，以例如通过音频视频多路复用器在从视频模式检测器411接收到的位置处将相应的来源于网络摄像机的视频内容和/或来源于外部A/V源的视频内容插入到用于显示器204的视频内容中。然后，将结果得到的经多路复用的视频内容转发到显示器204。通过网络230来源于外部AV源的音频被通过音频单元214转发到(多个)扬声器203以供播放。最终，将来自音频输入单元213和麦克风的音频输入提交到外部A/V流中。
在前面的示例中，来自网络摄像机的视频内容、外部视频内容、来自麦克风的音频和外部音频不再被传递到接驳方，而是替代地由对接主机通过AV路由器直接处理，因此节省了无线连接上的带宽。替代地，在无线连接上传递的是预定模式。即使使用不知道路由和AV数据替换的接驳方和应用，该系统也通过适当选择用于视频和/或音频的预定模式实现了带宽的改善。在所述模式存在于上行流中的情况下，其被原始视频和/或音频替换。此外，可以与包括接驳方路由器的接驳方交换其它的路由和/或呈现命令，以便进一步增强替换处理和/或减少下行流中预定模式的数据量。
在实际的实施例中，预定模式可以包括各种各样的元素。基本上，选择模式以在传输(通常由视频压缩功能进行压缩)时需要很小的带宽。适当的示例模式可以具有单个背景颜色，例如黑色或零强度像素。这一背景可以构成该预定模式。然而，例如为了避免应用如同没有连接视频那样进行动作，该预定视频模式可以具有一个或多个对象，例如像是圆盘、正方形或矩形的几何对象。可以按照预定的布局显示例如具有不同的尺寸的几个对象。这样的对象或布局使得AV路由器能够检测在哪里或是否插入了原始视频的一部分以及其是否已经被缩放或裁剪，因为模式在被插入到第二AV数据之前将被应用缩放/裁剪以便使得主机中的AV路由器能够检测由模式覆盖的区域以及缩放和/或裁剪两者。而且，该模式可以具有带有单个前景颜色的元素或者具有不同预定颜色的元素的布局。注意，该上下文中的词"预定"的仅仅意指AV路由器知道插入到第一AV数据中的模式，以便使得AV路由器能够检测第二AV数据中返回的模式。而且，该预定模式可以包括静音的音频模式，该音频模式很容易替换，因为其可以被忽略并且通过插入原始音频而被取代。而且，该模式可以包括预定声音序列的音频模式。这可以例如是正弦波或滴答声的模式，其可以在添加原始声音之前由AV路由器中的匹配过滤器来移除。而且，可以检测声音元素的强度，以使得能够在混合来自麦克风202的原始声音与由接驳方设备中的应用生成的声音的同时实现声音水平控制。也可以基于实际的声音输入插入一些预定的声音元素，以使得能够实现应用的与声音相关的功能，比如语音检测和声音水平控制。
可选地，预定模式可以包括时间信息，诸如模式、尺寸、颜色或元素个数等等的逐渐变化或逐步变化。AV路由器可以被布置用于使用该时间信息来确定在下行流中发送第一数据与在上行流中接收第二AV数据之间的延迟以及在所述替换之前按照所确定的延迟来延迟来自AV输入设备的AV内容以便同步所要呈现的AV数据。
在主机设备与接驳方设备之间进行无线对接的方法基于主机设备与一个或多个接驳方设备之间的无线通信。该主机设备和移动设备如前面所述。该方法包括对下行流和上行流进行处理，以便在将下行流发送到接驳方设备之前由预定模式替换第一AV数据，并且在从接驳方设备接收到上行流之后且在通过所述AV呈现功能进行呈现之前由第一AV数据的至少一部分替换第二AV数据的至少一部分。
虽然主要通过使用无线对接的实施例解释了本发明，但是本发明也适用于其中无线设备需要连接或共享一个或多个音频和/或视频外设的任何无线系统。注意，本发明可以使用可编程部件在硬件和/或软件中来实现。
将意识到，为了清楚起见，前面的描述参照不同的功能单元和处理器描述了本发明的实施例。然而，将显而易见的是，可以使用不同功能单元或处理器之间功能的任何适当分布而不会偏离本发明。例如，被图示为由单独单元、处理器或控制器执行的功能可由同一个处理器或控制器执行。因此，对特定功能单元的引用仅仅被看作对用于提供所描述的功能的适当构件的引用，而不指示严格的逻辑或物理结构或组织。本发明可以以任何适当形式实现，包括硬件、软件、固件或这些的任意组合。
注意，在本文档中，词"包括"并不排除除了所列出的那些元件或步骤之外的其它元件或步骤的存在，并且元件之前的词"一"或"一个"并不排除多个这样的元件的存在；任何附图标记并不限制权利要求的范围；本发明可借助硬件和软件两者来实现；以及若干"构件"或"单元"可以由硬件或软件的同一个项目来表示，并且处理器可以可能地与硬件元件相协作实现一个或多个单元的功能。进一步地，本发明并不局限于这些实施例，并且本发明在于前面描述的或者相互不同的从属权利要求中记载的每一个新颖特征或特征的组合。

Claims (15)

1.无线对接系统，包括主机设备(300)和接驳方设备，所述主机设备被布置用于呈现音频或视频(AV)数据，
所述主机设备包括：
-主机通信单元(102)，用于供应无线通信，
-远程客户端单元(210)，用于向远程客户端提供至少一个AV呈现功能，以便使得能够通过声音设备（203）呈现音频数据或通过屏幕（204）呈现视频数据，
-至少一个传递单元(211，212，213，214)，被布置用于使得能够向接驳方设备发送第一AV数据的下行流，并且从接驳方设备接收所要呈现的第二AV数据的上行流，
所述接驳方设备包括：
-接驳方通信单元(121)，用于供应无线通信，
-远程服务器单元(251)，用于与远程客户端单元协作以使得能够实现所述AV呈现功能，
-应用单元(252)，用于接收下行流和用于产生上行流，并且
所述主机设备还包括
-AV路由器，被布置用于处理下行流和上行流，以便
　在将下行流发送到接驳方设备之前由预定模式替换第一AV数据，和
　在从接驳方设备接收到上行流之后且在通过所述AV呈现功能进行呈现之前由第一AV数据的至少一部分替换第二AV数据的至少一部分，其中
所述接驳方设备被布置用于将该预定模式作为上行流的一部分包含到第二AV数据中，并且
所述AV路由器被布置用于
-识别第二AV数据中的预定模式，和
-由第一AV数据的至少一部分替换与所述识别出的模式相对应的第二AV数据。
2.用于在权利要求1所述的无线对接系统中使用的主机设备（300），该主机设备被布置用于呈现音频或视频(AV)数据，
该主机设备包括
-主机通信单元(102)，用于供应无线通信，
-远程客户端单元(210)，用于向远程客户端提供至少一个AV呈现功能，以便使得能够通过声音设备（203）呈现音频数据或通过屏幕（204）呈现视频数据，
-至少一个传递单元(211，212，213，214)，被布置用于使得能够向接驳方设备发送第一AV数据的下行流，并且从接驳方设备接收所要呈现的第二AV数据的上行流，和
-AV路由器，被布置用于处理下行流和上行流，以便
　在将下行流发送到接驳方设备之前由预定模式替换该第一AV数据，和
　在从接驳方设备接收到上行流之后且在通过所述AV呈现功能进行呈现之前由第一AV数据的至少一部分替换第二AV数据的至少一部分，
其中该AV路由器被布置用于
-识别第二AV数据中的预定模式，和
-由第一AV数据的至少一部分替换与所述识别出的模式相对应的第二AV数据。
3.如权利要求2所述的设备，其中该AV路由器被布置用于接收来自接驳方设备的呈现命令，所述呈现命令指示所述由第一AV数据的至少一部分替换第二AV数据的至少一部分。
4.如权利要求3所述的设备，其中所述呈现命令包括视频呈现命令，所述视频呈现命令包括下列中的至少一个
-指示用于呈现第一AV数据的屏幕区域的命令；
-指示要在屏幕上呈现的第一AV数据的区域的命令；
-指示第二AV数据中指示呈现区域的AV模式的命令；
-指示用于呈现第一AV数据的参考点的命令；
-指示要在第二AV数据中检测的用于定位第一AV数据的视觉标记的命令；
-指示用于选择用于呈现第一AV数据的预定义位置的指示符的命令。
5.如权利要求3所述的设备，其中所述呈现命令包括图形呈现命令，所述图形呈现命令包括下列中的至少一个
-指示所要呈现的图形元素的命令；
-指示呈现图形元素的位置的命令；
-指示用于开始、停止或暂时显示图形元素的时间指示的命令；
-指示用于使得能够实现与用户的交互的图形用户界面的命令；
-指示用于使得能够通过用户动作进行控制的图形控制元素的命令。
6.如权利要求3所述的设备，其中所述呈现命令包括音频呈现命令，所述音频呈现命令包括下列中的至少一个
-指示用于呈现第一AV数据的音频数据的增益系数的命令；
-指示用于呈现第一AV数据的音频数据与第二AV数据的音频数据的组合的混合比率的命令。
7.如权利要求1所述的设备，其中该AV路由器被布置用于
-识别第二AV数据中的显示输出数据的模式化区域中的预定模式，
-由相应量的第一AV数据替换模式化区域中的第二AV数据。
8.如权利要求7所述的设备，其中该AV路由器被布置用于
-在模式化区域中识别预定模式的缩放和/或裁剪，
-处理与该缩放和/或裁剪相对应的第一AV数据，和
-由相应量的经过处理的第一AV数据替换模式化区域中的第二AV数据。
9.如权利要求1所述的设备，其中预定模式包括下列至少一个
-具有单个背景颜色的视频模式；
-具有一个或多个几何对象的视频模式；
-具有单个前景颜色的视频模式；
-静音的音频模式；
-预定声音序列的音频模式；
-时间信息，并且该AV路由器被布置用于使用该时间信息来确定在下行流中发送第一数据与在上行流中接收第二AV数据之间的延迟，并且在所述替换之前按照所确定的延迟来延迟来自AV输入设备的AV内容，以便同步所要呈现的AV数据。
10.用于在权利要求1所述的无线对接系统中使用的接驳方设备（450），该接驳方设备包括
-接驳方通信单元(121)，用于供应所述无线通信，
-远程服务器单元(251)，用于与远程客户端单元协作以使得能够实现所述AV呈现功能，
-应用单元(252)，用于接收下行流和用于产生上行流，其中
该接驳方设备被布置用于将该预定模式作为该上行流的一部分包含到第二AV数据中。
11.如权利要求10所述的接驳方设备，其中该接驳方设备还包括接驳方路由器（460），该接驳方路由器用于
路由和处理该接驳方设备中的上行流和下行流，和
与AV路由器进行通信，以便交换路由控制命令，从而确定由主机设备支持的AV路由。
12.如权利要求11所述的接驳方设备，其中接驳方路由器（460）包括
-虚拟网络摄像机驱动程序(461)，以便向接驳方应用提供第一预定模式；或
-虚拟外部AV驱动程序，以便向接驳方应用提供第二预定模式。
13.用于权利要求1所述的无线对接系统中的主机设备进行无线对接的方法，该方法包括
-向远程客户端提供至少一个AV呈现功能，以便使得能够通过声音设备（203）呈现音频数据或通过屏幕（204）呈现视频数据，
-对下行流和上行流进行处理，以便在将下行流发送到接驳方设备之前由预定模式替换第一AV数据；和在从接驳方设备接收到上行流之后且在通过所述AV呈现功能进行呈现之前
-识别第二AV数据中的预定模式，和
-由第一AV数据的至少一部分替换与所述识别出的模式相对应的第二AV数据。
14.用于权利要求1所述的无线对接系统中的接驳方设备进行无线对接的方法，该方法包括
-与远程客户端单元进行协作以使得能够实现所述AV呈现功能，
-生成上行流，和
-将预定模式作为上行流的一部分包含到第二AV数据中。
15.用于在主机设备(300)与接驳方设备之间进行无线通信的计算机程序产品，包括可操作用于促使处理器执行如权利要求14所述的方法的程序。
CN201480013084.0A 2013-03-08 2014-03-07 用于音视频的无线对接系统 Active CN105122822B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13158283 2013-03-08
EP13158283.5 2013-03-08
PCT/EP2014/054410 WO2014135670A1 (en) 2013-03-08 2014-03-07 Wireless docking system for audio-video

Publications (2)

Publication Number Publication Date
CN105122822A true CN105122822A (zh) 2015-12-02
CN105122822B CN105122822B (zh) 2018-10-26

Family

ID=47877844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480013084.0A Active CN105122822B (zh) 2013-03-08 2014-03-07 用于音视频的无线对接系统

Country Status (8)

Country Link
US (1) US10863233B2 (zh)
EP (1) EP2965526B1 (zh)
JP (1) JP6396342B2 (zh)
CN (1) CN105122822B (zh)
BR (1) BR112015021283B1 (zh)
RU (1) RU2648982C2 (zh)
TW (1) TWI634806B (zh)
WO (1) WO2014135670A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180367326A1 (en) * 2017-06-20 2018-12-20 Microsoft Technology Licensing, Llc Automatic connection switching for meeting room management devices
US11259069B1 (en) * 2020-02-05 2022-02-22 Visualon, Inc. Synchronized video player

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030027517A1 (en) * 2001-08-06 2003-02-06 Callway Edward G. Wireless display apparatus and method
CN1559143A (zh) * 2001-09-28 2004-12-29 皇家飞利浦电子股份有限公司 音频和/或可视系统、方法和部件
US20100321466A1 (en) * 1998-12-21 2010-12-23 Roman Kendyl A Handheld Wireless Digital Audio and Video Receiver
US20100333004A1 (en) * 2009-06-24 2010-12-30 Tandberg Telecom As Method, apparatus and system for modifying a composite video signal
US20120079551A1 (en) * 2010-09-27 2012-03-29 Kabushiki Kaisha Toshiba Information output apparatus, information processing system and information processing method
GB2486425A (en) * 2010-12-13 2012-06-20 Sivapathalingham Sivavakeesar Rendering multimedia content from a mobile device onto an external display device

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998043158A1 (en) * 1997-03-24 1998-10-01 Evolve Products, Inc. Two-way remote control with advertising display
US8151306B2 (en) * 2000-01-14 2012-04-03 Terayon Communication Systems, Inc. Remote control for wireless control of system including home gateway and headend, either or both of which have digital video recording functionality
US20010039663A1 (en) * 2000-05-03 2001-11-08 Hughes Electronics Corporation Portable device for use with digital over-the-air communication system for use with terrestrial broadcasting system
US6937168B2 (en) * 2002-06-14 2005-08-30 Intel Corporation Transcoding media content from a personal video recorder for a portable device
US20070086724A1 (en) * 2002-07-17 2007-04-19 Jeff Grady Interface systems for portable digital media storage and playback devices
JP2004135062A (ja) 2002-10-10 2004-04-30 Matsushita Electric Ind Co Ltd 映像コミュニケーションシステム及び映像コミュニケーション方法
US8669988B2 (en) * 2004-03-10 2014-03-11 Qualcomm Incorporated High data rate interface apparatus and method
WO2006028203A1 (ja) * 2004-09-10 2006-03-16 Sharp Kabushiki Kaisha データ処理装置およびコンテンツデータ送信装置
JP2006121542A (ja) * 2004-10-25 2006-05-11 Sharp Corp 無線伝送システム
JP4434973B2 (ja) 2005-01-24 2010-03-17 株式会社東芝 映像表示装置、映像合成配信装置、プログラム、システム及び方法
US8019883B1 (en) * 2005-05-05 2011-09-13 Digital Display Innovations, Llc WiFi peripheral mode display system
US20070263865A1 (en) * 2005-07-01 2007-11-15 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Authorization rights for substitute media content
US7720439B2 (en) * 2005-07-28 2010-05-18 D-Link Systems, Inc. Wireless media device cradle
WO2007069234A2 (en) * 2005-12-16 2007-06-21 Infra-Com Ltd. Wireless infrared multimedia system
US20070189711A1 (en) * 2006-01-30 2007-08-16 Ash Noah B Device and method for data exchange between content recording device and portable communication device
US20070262973A1 (en) 2006-05-12 2007-11-15 Xgi Technology Inc. Architecture for remote displaying system
JP4766023B2 (ja) * 2007-09-28 2011-09-07 ソニー株式会社 Ｄｌｎａ対応機器、ｄｌｎａ接続設定方法およびプログラム
US20090187957A1 (en) * 2008-01-17 2009-07-23 Gokhan Avkarogullari Delivery of Media Assets Having a Multi-Part Media File Format to Media Presentation Devices
JP5310007B2 (ja) * 2008-10-16 2013-10-09 ソニー株式会社 情報処理システム、表示装置、出力装置および情報処理装置
JP2010212947A (ja) * 2009-03-10 2010-09-24 Sony Corp 情報処理装置および方法、情報処理システム、並びにプログラム
US9369759B2 (en) * 2009-04-15 2016-06-14 Samsung Electronics Co., Ltd. Method and system for progressive rate adaptation for uncompressed video communication in wireless systems
US8493992B2 (en) * 2010-02-04 2013-07-23 Texas Instruments Incorporated Interrelated WiFi and USB protocols and other application framework processes, circuits and systems
KR20120015931A (ko) * 2010-08-13 2012-02-22 삼성전자주식회사 휴대용 전자 장치 및 그것의 디스플레이 미러링 방법
US20120123935A1 (en) 2010-11-17 2012-05-17 David Brudnicki System and Method for Physical-World Based Dynamic Contactless Data Emulation in a Portable Communication Device
US9503771B2 (en) * 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
CN103430509B (zh) * 2011-03-16 2017-06-13 皇家飞利浦有限公司 使能在至少一个外围单元和装置之间的无线通信的方法
JP5755943B2 (ja) * 2011-06-03 2015-07-29 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
JP2013005155A (ja) 2011-06-15 2013-01-07 Panasonic Corp データ処理装置およびデータ処理方法
JP2013168750A (ja) * 2012-02-14 2013-08-29 Funai Electric Co Ltd テレビジョン受像機
US8789095B2 (en) * 2012-05-15 2014-07-22 At&T Intellectual Property I, Lp Apparatus and method for providing media content
US20140092304A1 (en) * 2012-10-02 2014-04-03 Shih-Yao Chen Tv and wireless electronic device combination system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100321466A1 (en) * 1998-12-21 2010-12-23 Roman Kendyl A Handheld Wireless Digital Audio and Video Receiver
US20030027517A1 (en) * 2001-08-06 2003-02-06 Callway Edward G. Wireless display apparatus and method
CN1559143A (zh) * 2001-09-28 2004-12-29 皇家飞利浦电子股份有限公司 音频和/或可视系统、方法和部件
US20100333004A1 (en) * 2009-06-24 2010-12-30 Tandberg Telecom As Method, apparatus and system for modifying a composite video signal
US20120079551A1 (en) * 2010-09-27 2012-03-29 Kabushiki Kaisha Toshiba Information output apparatus, information processing system and information processing method
GB2486425A (en) * 2010-12-13 2012-06-20 Sivapathalingham Sivavakeesar Rendering multimedia content from a mobile device onto an external display device

Also Published As

Publication number Publication date
EP2965526B1 (en) 2018-01-10
WO2014135670A1 (en) 2014-09-12
TW201440565A (zh) 2014-10-16
US10863233B2 (en) 2020-12-08
RU2648982C2 (ru) 2018-03-29
US20160007080A1 (en) 2016-01-07
JP2016517644A (ja) 2016-06-16
EP2965526A1 (en) 2016-01-13
BR112015021283B1 (pt) 2023-05-09
JP6396342B2 (ja) 2018-09-26
CN105122822B (zh) 2018-10-26
RU2015142658A (ru) 2017-04-11
BR112015021283A2 (pt) 2017-07-18
TWI634806B (zh) 2018-09-01

Similar Documents

Publication Publication Date Title
US10205914B2 (en) Wireless video camera and connection methods including multiple video or audio streams
US11936921B2 (en) Method for managing network live streaming data and related apparatus, and device and storage medium
EP2936735B2 (en) Multiple user wireless docking
EP3078182B1 (en) Wireless media sharing from multiple sources to a single sink
US10194180B2 (en) Systems and methods for transmitting video data over a network
US20170019443A1 (en) Device and method for transferring the rendering of multimedia content
EP2933982B1 (en) Media stream transfer method and user equipment
CN102904939A (zh) 一种屏幕共享的方法及其相关装置
CN105718227A (zh) 一种传屏方法及相关设备
US20170171496A1 (en) Method and Electronic Device for Screen Projection
US20150087356A1 (en) Information processing system, information processing method, mobile phone, server, and control method and control program thereof
CN104902199A (zh) 一种投影方法及终端、系统
CN105122822A (zh) 用于音视频的无线对接系统
CN112422667A (zh) 多屏幕显示的数据传输方法、装置、设备及存储介质
CN109104774B (zh) 数据传输方法和系统
US10122896B2 (en) System and method of managing transmission of data between two devices
WO2016177257A1 (zh) 一种数据分享的方法和装置
WO2024001776A1 (zh) 设备控制方法、虚拟机顶盒、实体机顶盒和系统
KR101528268B1 (ko) 콘텐츠를 원격 위치들에 스트리밍하기 위한 시스템과 방법
US20130283323A1 (en) Communication controller and communication control method
CN117311657A (zh) 一种投屏方法、装置及电子设备
WO2017107575A1 (zh) 数据信息共享方法、系统、客户端、服务器及计算机存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant