CN103229500A

CN103229500A - 对i/o数据进行通信的系统和方法

Info

Publication number: CN103229500A
Application number: CN2010800703331A
Authority: CN
Inventors: 德雷克·卢卡西克; 拜伦·A·奥尔康
Original assignee: Hewlett Packard Development Co LP
Current assignee: Hewlett Packard Development Co LP
Priority date: 2010-11-30
Filing date: 2010-11-30
Publication date: 2013-07-31
Also published as: EP2647196A4; US9350945B2; EP2647196A1; US20130242035A1; WO2012074518A1

Abstract

提供了视频会议系统和方法。视频会议系统可包括联接多个网络装置的音频/视频（A/V）数据路径。该系统还可包括提供I/O数据的至少一个输入/输出（I/O）装置，该输入/输出装置联接至多个网络装置中的至少一个网络装置。I/O数据沿A/V数据路径被通信至多个网络装置中的每个网络装置。

Description

对I/O数据进行通信的系统和方法

背景技术

相关技术描述

视频会议技术为地理上分离的工作组提供了对共享项目进行会晤和讨论的机会。一些视频会议产品提供了“活动桌面”或公共工作区，在这里，会议参加者可利用共享桌面上的公共文件（例如，图形渲染图或计算机辅助设计（CAD）图）进行协作。这种共享桌面大大地提高了视频会议软件的价值和灵活性。然而，会议参加者所面对的挑战之一是延迟，即参加者向公共工作区提供输入（例如，光标移动）的时间和显示输入结果的时间之间的时间滞后。当这种延迟最小时，其使得共享桌面上的精确工作变难，当这种延迟非最小时，其使得共享桌面上的精确工作变得几乎不可能。

附图说明

在阅读以下具体实施方式并参照附图时，一个或多个所公开的实施例的优点将变得清楚，在附图中：

图1是示出根据本文所描述的一个或多个实施例的说明性输入/输出（I/O）数据通信系统的实施例的示意图；

图2是示出根据本文所描述的一个或多个实施例的说明性输入/输出（I/O）数据通信方法的实施例的流程图；

图3是示出根据本文所描述的一个或多个实施例的说明性输入/输出（I/O）数据通信方法的另一实施例的流程图；以及

图4是示出根据本文所描述的一个或多个实施例的说明性输入/输出（I/O）数据通信方法的又一实施例的流程图。

具体实施方式

视频会议技术在商务中扮演着日益重要的角色，提供了地理上分离的当事方之间容易利用的协作方法。典型地，会议发起者选择一个或多个会议参加者，在会议发起者和部分会议参加者或所有会议参加者之间建立控制数据路径。根据链接会议参与者的网络技术，可利用多种协议中的任一协议建立控制数据路径。

一旦在会议参与者之间建立了控制数据链路，就可利用音频/视频（A/V）数据路径建立A/V数据链路。由于A/V数据链路与控制数据链路显著不同，例如需要比控制数据链路大很多的带宽，所以A/V数据路径和控制数据路径经常不一致，并且实际上，基于网络资源的可用性和建立A/V数据路径时的负荷，A/V数据路径和控制数据路径经常显著不同。A/V数据链路可对由每个会议参与者所生成的A/V数据进行通信，并且可对由所有或一部分会议参与者所共享的任何协作工作空间的图像进行通信。

如果一个或多个会议参与者选择与一个或多个其他参与者发起“共享工作空间”，则描述共享工作空间的视频数据将沿A/V数据路径传输。然而，当会议参加者想要向“共享工作空间”提供输入时，输入（I/O）数据信号必须类似地传输至所有会议参与者。通常将输入信息（例如，鼠标穿越共享工作空间的移动）的显示中的可感知的滞后称为“延迟”。显著的延迟问题会影响所有会议参与者的会议体验的总体质量。

提供了输入/输出（I/O）数据通信系统。该系统可包括联接多个网络装置的音频/视频（A/V）数据路径。该系统还可包括提供I/O数据的至少一个输入/输出（I/O）装置，该装置联接至多个网络装置中至少一个网络装置。I/O数据沿A/V数据路径被通信至多个网络装置中的每个网络装置。

本文中所使用的术语“联接”或“所联接”可以指任何形式的直接连接、间接连接、光学连接或无线的电连接。在一个或多个实施例中，电连接可包括但不限于链接两个或更多个装置的任何导电连接或磁感应连接。连接可以是导电的，例如使用像铜线或铝线、印刷电路板上的传导条等这样的一个或多个导体来连接两个或更多个部件。例如，提供I/O数据的I/O装置可具有与相关网络装置的有线（例如，通用串行总线（USB）、PS2等）连接或无线（例如，RF、蓝牙等）连接。

还提供了一种输入/输出（I/O）数据通信方法。该方法可包括利用第二协议在多个网络装置之间建立音频/视频（A/V）数据路径。该方法还可包括沿A/V数据路径在多个网络装置中的每个网络装置之间对A/V数据进行通信。该方法可包括：利用网络装置中的至少一个网络装置生成I/O数据，以及利用第二协议在多个网络装置中的每个网络装置之间建立I/O数据路径。A/V数据路径和I/O数据路径可共享多个网络装置中的每个网络装置之间的公共路径。该方法还可包括：沿一致的I/O数据路径和A/V数据路径在网络装置之间对I/O数据进行通信。

本文中所使用的术语“通信”、“进行通信”和被称为“通信”的任何过程，可以指单向数据传输或接收或者双向数据传输和接收。该术语可不同地指例如模拟数据传输或数字数据传输、模拟数据接收或数字数据接收、或者模拟数据传输和接收或数字数据传输和接收。例如，本文所使用的被称为与其它网络装置“通信”或“通信中”的网络装置既可向余下的多个网络装置传输数据，又可从余下的多个网络装置接收数据。

还提供了另一种输入/输出（I/O）数据通信方法。该方法可包括：在多个联接的网络装置之间发起会议，其中多个网络装置中的至少一部分网络装置包括被配置为提供I/O数据的I/O装置。该方法还可包括利用第一协议在多个网络装置中的每个网络装置之间建立控制数据路径。该方法还可包括利用第二协议在多个联接的网络装置之间建立音频/视频（A/V）数据路径，其中第一协议与第二协议不同并且其中控制数据路径和A/V数据路径具有通往多个网络装置中每个网络装置的不相似的网络选路。该方法还可包括：利用联接至多个网络装置中至少一个网络装置的I/O装置生成I/O数据，以及利用第二协议在多个联接的网络装置之间自主建立I/O数据路径，其中A/V数据路径和I/O数据路径共享通往多个网络装置中每个网络装置的公共网络选路。

图1是示出根据一个或多个实施例的说明性输入/输出（I/O）数据通信系统100的实施例的示意图。系统100可包括多个网络装置110，例如通过节点190a选路的多个互连的网络装置。多个网络装置110中的至少一个网络装置可包括I/O装置120，I/O装置120被配置为向所附接的网络装置110提供I/O数据130。在至少一些实施例中，可经由设置在网络装置110中、网络装置110上或网络装置110周围的且在多个网络装置110之间共享的活动桌面160或类似的协作工作空间，提供I/O数据130。音频/视频（A/V）数据路径140（例如，通过节点190a选路的A/V数据路径）可与多个网络装置110互连，或以其它方式链接多个网络装置110。控制数据（例如，用于最初建立视频会议的数据）可经由控制数据路径150（例如，通过节点190b和190c选路的控制数据路径150）在多个联网装置110之间通信。在至少一些实施例中，控制数据路径150可具有与A/V数据路径140不同的选路。

系统100可提供在多个网络装置110中的每个网络装置之间共享视频会议A/V数据的能力。视频会议可通过将控制数据从多个网络装置之一处的会议发起者通信至余下网络装置110处的会议参加者来发起。由于控制数据具有相对低的带宽需求，所以可利用第一协议（例如，通过图1所示的节点190b和190c）对控制数据路径150进行选路。

在多个网络装置110中的一些或所有网络装置接受了会议邀请以后，A/V数据可经由A/V数据路径140在多个网络装置110之间进行通信。由于A/V数据消耗了视频会议所需的总带宽的很大一部分，所以可利用与A/V数据所需的增加带宽相适应的第二协议来对A/V数据路径进行选路，在至少一些实施例中，通过例如将A/V数据路径140选路通过比控制数据路径150少的中间节点190，第二协议可优化A/V数据路径在多个网络装置110之间的选路。

系统100还可提供公共工作空间，例如活动桌面180，在这里多个网络装置110中的每个网络装置可经由一个或多个联接的I/O装置120提供协作输入。在至少一些实施例中，可利用与用于协商A/V数据路径140相同的协议（即第二协议）来协商I/O数据路径。在至少一些实施例中，I/O数据130可沿着A/V数据路径140与A/V数据一起以串行、并行或二者任意结合的方式进行传输。I/O数据130与A/V数据沿着公共数据路径或共享数据路径的同时传输可改善I/O装置120的输入和活动桌面160上对输入的显示之间的同步性（即减少会议参加者体验到的延迟）。

多个网络装置110中的每个网络装置均可包括被配置为提供音频输入、音频输出、视频输入、视频输出或它们组合的任意数量的系统、装置或系统和装置的任意组合。多个网络装置110中的每个网络装置均可包括一个或多个音频输入装置（例如麦克风）和一个或多个音频输出装置（例如扬声器）。多个网络装置110中的每个网络装置均可包括一个或多个视频输入装置（例如相机）和一个或多个视频输出装置（例如液晶显示器（LCD）或阴极射线管（CRT）显示装置）。示例网络装置110可包括但不限于台式计算装置和便携式计算装置。

输入/输出（I/O）装置120可联接至多个网络装置110中的至少一个网络装置。I/O装置120可包括适于向网络装置110提供输入、从网络装置110接收输出、或向网络装置110的输入和从网络装置110的输出的任意组合的任意数量的系统、装置或系统和装置的任意组合。代表性的I/O装置120可包括指点装置（例如鼠标或轨迹球）和字母数字数据录入装置（例如键盘或触摸屏）。在至少一个实施例中，I/O装置120可利用有线或无线技术（例如经由“RF收发器”或

）联接至网络装置。

可通过设置在多个网络装置110中的每个网络装置内的处理器运行视频会议软件。视频会议软件可引发控制数据、音频数据、视频数据和I/O数据在多个网络装置110之间的通信，例如可在多个网络装置110之间建立利用第一协议选路的控制数据路径150和利用第二协议选路的A/V数据路径140。在建立一个或多个数据路径以后，视频会议软件可促进A/V数据（例如视频图像和音频内容）经由A/V数据路径140在多个网络装置110之间的通信。如图1所示，A/V数据路径140可通过一个或多个网络节点190选路。

在视频会议期间，可由会议参加者之一发起活动桌面160会话。活动桌面160会话可允许会议参加者中的一些或所有会议参加者对单个文件进行协作。例如，会议参加者之一可发起显示计算机辅助设计（CAD）文件的活动桌面会话160。会议参加者可看到并讨论在活动桌面160上显示的CAD文件的内容。此外，活动桌面160可为每个会议参加者提供操纵或改变活动桌面上的内容的能力，例如通过改变、添加或删除在活动桌面160上的CAD文件中显示的内容。

向活动桌面160提供的输入/输出数据130可经由控制数据路径150或经由另一独立的通路来选路，然而I/O数据在多个网络装置110之间的传输时间可与A/V数据在多个网络装置110之间的传输时间不同。由于在活动桌面160上显示的数据是经由A/V数据路径140传输的，所以I/O信号130和经由A/V数据路径140传输的A/V数据之间的传输时间的任何差异将被会议参加者体验为延迟，在这里，所显示的对活动桌面160的I/O输入比实际I/O输入滞后有限量的时间。在延迟很短时，会议参加者所体验到的影响可较小，然而在遇到较大延迟时，会议参加者所体验到的影响可能是显著的，例如在会议参加者由于察觉到桌面未对命令做出响应（由于延迟）而继续对活动桌面提供重复的输入命令时，其在系统延迟时间过后最终发现输入了“所有”重复的命令。

因此，可通过利用用于建立A/V数据路径140的第二协议建立I/O数据130的选路，使I/O数据130沿A/V数据路径140选路或与A/V数据路径140一致选路。以这种方式，I/O数据130可与A/V数据一起沿A/V数据路径140选路。通过沿A/V数据路径140对I/O数据130进行选路，使显示活动桌面160的A/V信号和携带对活动桌面输入的I/O数据130之间的时间滞后（即延迟）最小化，从而增强了所有会议参加者的活动桌面体验和可用性。

将图1用作所描述的系统的说明性示例，实际上可利用无限多条路径将向网络装置110提供的I/O数据选路至余下的网络装置110。一条路径可以是控制数据路径150，然而利用第一协议建立的控制数据路径150延伸通过节点190b和190c。因此，控制数据路径150会需要比根据第二协议仅通过一个节点190a选路的A/V数据路径140显著更长的传输时间。因此，利用第一协议对I/O信号130进行选路（即经由控制数据路径150）会导致系统100中无法接受的延迟水平。然而，利用第二协议对I/O信号130进行选路（即经由A/V数据路径140）可使活动桌面和I/O数据之间的延迟最小化。

在至少一些实施例中，A/V数据路径140可穿越在多个网络装置110中的两个或更多个网络装置之间建立的一个或多个防火墙。例如，多个网络装置110中的一些网络装置可位于由第一防火墙保护的第一企业局域网（LAN）上，而余下的多个网络装置110可位于由第二防火墙保护的第二企业LAN上。在这种情况下，第一防火墙和第二防火墙会阻碍沿较早建立的A/V数据路径140对I/O数据130进行选路的能力。在至少一些实施例中，可利用任何可用的穿越技术来穿越网络防火墙或网络地址翻译装置（NAT——单个互联网协议“IP”地址，其后可存在多个网络装置）。代表性的穿越技术包括但不限于：用于网络地址翻译器的会话穿越应用工具（STUN），利用中继NAT的穿越（TURN），诸如端口80和443的代理服务器，以及类似的穿越技术。

STUN协议例如允许，NAT后面的网络装置110获取由NAT分配给每个网络装置的地址来使那些绑定保持开放并且与其它STUN感知实体通信来验证连通性和生存性。实质上，STUN协议允许多个网络装置110在被设置在安全特征（例如防火墙）后面时保持与所有其它网络装置110的联系。如上所述，STUN仅代表了用于在不同的多个网络装置110之间提供通信的一项技术，诸如上文描述的技术这样的其它技术也是可用的并且具有相同的效用。

图2是示出根据一个或多个实施例的说明性输入/输出（I/O）数据通信方法200的实施例的流程图。数据通信方法200可应用于例如跨越多个网络装置110部署的视频会议系统。在210中，可在多个网络装置110中的至少一部分网络装置之间建立音频/视频（A/V）数据路径140。在至少一些实施例中，可利用第二协议建立A/V数据路径140。在一些实施例中，A/V数据路径140可穿越将多个网络装置110中的一些或所有网络装置隔开的一个或多个中间防火墙或类似的安全特征。在至少一些实施例中，可利用第二协议（例如用于网络地址翻译器的会话穿越应用工具（STUN）协议）建立A/V数据路径。

在多个网络装置110之间建立A/V数据路径140后，在220中，A/V数据可在所链接的多个网络装置110之间通信。在所链接的多个网络装置110之间通信的A/V数据可包括例如由多个网络装置110中的每个网络装置所生成的音频数据和视频数据。在至少一些实施例中，A/V数据可包括经由A/V数据路径140在多个网络装置110之间通信的一个或多个远程会议音频和视频信号。

在至少一些实施例中，多个网络装置110中的至少一部分网络装置可包括能够提供一个或多个I/O信号130的联接的输入/输出（“I/O”）装置120。I/O装置120可包括适于向在多个网络装置110之间共享的活动桌面或协作工作空间160提供输入的一个或多个指点装置和一个或多个数据录入装置。在至少一些实施例中，在多个网络装置110之一处的使用者可利用鼠标、轨迹球、触摸屏或类似输入装置向活动桌面160提供指点输入信号130。

在230中，可利用联接至多个网络装置110中至少一个网络装置的I/O装置120输入I/O数据130。代表性的I/O数据130可包括但不限于指点器（例如鼠标）输入、字母数字数据或它们的任意组合。在至少一些实施例中，I/O数据130可与在多个网络装置110之间共享的活动桌面或协作工作空间160上显示的数据相关联。

利用I/O装置120输入的I/O数据130可被通信至余下的多个网络装置110。例如，在活动桌面160中输入的I/O数据130可显示在多个网络装置110中的每个网络装置的活动桌面部分160上。在240中，可利用第二协议（即，与用于建立A/V数据路径140相同的协议）建立链接多个网络装置110中的每个网络装置的I/O数据路径。

在250中，在利用第二协议建立I/O数据130的路由之后，I/O数据130可在多个网络装置110之间通信。在多个网络装置110之间建立I/O数据路径之后，在多个网络装置中的任一网络装置上输入的I/O数据130可沿着A/V数据路径140与A/V数据一起通信。利用第二协议对A/V数据和I/O数据130进行选路可导致A/V数据和I/O数据沿相同的路径选路。在I/O数据130沿A/V数据路径140传输时，由于A/V数据路径通常用于显示多个网络装置110中的每个网络装置上的活动桌面160的内容，所以可使延迟问题最小化。

图3是示出根据一个或多个实施例的说明性输入/输出（I/O）数据通信方法300的另一实施例的流程图。在至少一些实施例中，可在建立A/V数据路径140之前在多个网络装置110之间建立控制数据路径150。控制数据路径150可包括例如从会议发起者向多个网络装置110发送的发起视频会议的请求，每个网络装置110均处于期望的会议参加者可访问的位置。除了会议通知和接收之外，控制数据还可包括与多个网络装置110中的每个网络装置相关联的一个或多个系统性能参数。

在310中，控制数据路径150可利用第一协议沿着链接多个网络装置的路径进行选路。由于在多个网络装置110中的每个网络装置之间通信的控制数据的相对低的带宽需求，控制数据路径150的选路可与相对高带宽的A/V信号沿着利用第二协议建立的A/V数据路径140的选路不同，有时明显不同。在至少一些实施例中，利用第一协议和第二协议分配的带宽的差别会导致在多个网络装置110中的每个网络装置处控制数据和A/V数据的接收之间的传输延时。这两种信号路径之间的传输延时会导致在I/O信号130沿控制数据路径150传输时遇到无法接受的延迟。I/O信号沿A/V数据路径140的传输可减小所遇到的延迟。

图4是示出根据一个或多个实施例的说明性输入/输出（I/O）数据通信方法400的又一实施例的流程图。该方法可包括：在410中，在多个网络装置110之间发起视频会议。多个网络装置110可包括但不限于一个或多个台式计算装置、一个或多个便携式计算装置、一个或多个手持计算装置、或它们的任意组合。多个网络装置110中的至少一部分网络装置可包括输入/输出（I/O）装置120。I/O装置120可被配置为提供I/O数据130，例如，与在多个网络装置110中的所有网络装置或部分网络装置上可视的活动桌面160相关的I/O数据。

在420中，可在多个网络装置110之间建立控制数据路径150。控制数据路径150可利用适于一个或多个控制信号参数的第一协议进行选路，例如，第一协议可基于控制信号的期望带宽需求对控制信号进行选路。在至少一些实施例中，链接多个网络装置110的控制数据路径可延伸通过多个中间装置，例如如图1所示的节点190b和190c。

除了其它信息以外，控制数据可包括设置信息，该设置信息是关于视频会议、参加者、多个网络装置110以及与适当构造或分配视频会议资源和经由所有参加者各自的网络装置110链接所有参加者有关的其它数据。

利用控制数据路径150识别会议参加者，在430中，可在多个网络装置110之间建立音频/视频（A/V）数据路径140。A/V数据路径140可对音频和视频数据在多个网络装置中的每个网络装置之间的通信提供通路。A/V数据路径140可利用适于一个或多个控制信号参数的第二协议进行选路，例如，第二协议可基于A/V信号的期望带宽需求来对A/V信号进行选路。

会议可包括多个网络装置110中的至少一部分网络装置上的活动桌面160。活动桌面160可为多个网络装置110中的每个网络装置的使用者提供对单个数据文件（例如单个CAD文件、电子表格或文字处理文档）协同工作的机会。当一个或多个使用者选择在共享工作空间内开始协作项目时，在440中可生成与活动相关的I/O数据。然后，利用多个网络装置110，可在发起人和所有协作人之间共享I/O数据。

在450中，可利用第二协议（即与用于建立A/V数据路径140相同的协议）在多个网络装置110之间建立I/O数据信号路径。通过利用第二协议，可沿A/V数据路径140传输I/O数据130。由于I/O数据将与包含共享桌面160的图像的视频数据同时传输，所以I/O数据130沿A/V数据路径140传输可使在多个网络装置110中的每个网络装置处所体验到的延迟最小化。

尽管以上描述针对本发明的实施例，但可在不背离本发明的基本范围的情况下得到本发明的其它实施例和进一步的实施例，并且本发明的范围由下面的权利要求确定。

Claims

1.一种输入/输出（I/O）数据通信系统，包括：

音频/视频（A/V）数据路径（140），联接多个网络装置（110）；以及

至少一个输入/输出（I/O）装置（120），提供I/O数据（130），所述至少一个I/O装置联接至至少一个网络装置；

所述I/O数据沿所述A/V数据路径被通信。

2.如权利要求1所述的系统，进一步包括：

控制数据路径（150），联接所述多个网络装置（110）。

3.如权利要求1所述的系统，其中

所述多个网络装置（110）中的每个网络装置均包括在所述网络装置之间共享的活动桌面（160）；以及

I/O数据（130）能够利用所述至少一个I/O装置（120）被提供至所述活动桌面。

4.如权利要求2所述的系统，其中所述控制数据路径（150）和所述A/V数据路径（140）在所述多个网络装置（110）之间不同地选路。

5.一种输入/输出（I/O）数据通信方法，包括：

利用第二协议在多个网络装置（110）之间建立（210）音频/视频（A/V）数据路径（140）；

沿所述A/V数据路径在所述多个网络装置之间对A/V数据进行通信（220）；

利用至少一个网络装置生成（230）输入/输出（I/O）数据（130）；

在所述多个网络装置之间建立（240）I/O数据路径，所述I/O数据路径和所述A/V数据路径包括公共路径；以及

经由所述A/V数据路径（140）在所述多个网络装置之间对I/O数据进行通信（250）。

6.如权利要求5所述的方法，进一步包括：

利用第一协议在所述多个网络装置（110）之间建立（310）控制数据路径（150）。

7.如权利要求6所述的方法，其中所述控制数据路径（150）和所述A/V数据路径（140）在所述多个网络装置（110）之间不同地选路。

8.如权利要求5所述的方法，其中所述A/V数据路径（140）穿越至少一个中间防火墙。

9.如权利要求5所述的方法，其中利用至少一个网络装置生成（230）输入/输出（I/O）数据包括：

在所述多个网络装置之间发起活动桌面（160）会话；以及

利用所联接的I/O装置（120）在所述至少一个网络装置处将I/O数据输入。

10.如权利要求5所述的方法，其中所述第二协议包括被配置为穿越设置在所述多个网络装置（110）中的至少一部分网络装置之间的中间防火墙的协议。

11.如权利要求5所述的方法，其中所述第二协议包括用于网络地址翻译器的会话穿越应用工具（STUN）。

12.如权利要求5所述的方法，其中利用所述第二协议建立所述I/O数据路径。

13.一种输入/输出（I/O）数据通信方法，包括：

在多个网络装置（110）之间发起（410）会议，其中所述多个网络装置中的至少一部分网络装置联接至被配置为提供I/O数据（130）的输入/输出（I/O）装置（120）；

利用第一协议在所述多个网络装置之间建立（420）控制数据路径（150）；

利用第二协议在所述多个网络装置之间建立（430）音频/视频（A/V）数据路径（140），

其中所述第一协议与所述第二协议不同，并且

其中所述控制数据路径和所述A/V数据路径在所述多个网络装置之间不同地选路；

利用所述I/O装置生成（440）I/O数据（130）；

利用所述第二协议在所述多个网络装置之间建立（450）I/O数据路径，

其中所述A/V数据路径和所述I/O数据路径共享一致的网络选路。

14.如权利要求13所述的方法，其中所述第二协议包括被配置为穿越设置在已联接的多个网络装置中的至少一部分网络装置之间的至少一个中间防火墙的协议。

15.如权利要求13所述的方法，其中所述第二协议包括用于网络地址翻译器的会话穿越应用工具（STUN）。