CN100592744C - 多传感器通信系统 - Google Patents

Abstract

在一种用于监控多个传感器的系统(10)中，多个源设备使用诸如SIP(会话初始协议)之类的信令协议将源数据发送给一个或多个服务器(14)。服务器(14)处理源数据并使用XML(可扩展标记语言)协议或类似的协议将处理后的源数据发送给一个或多个终端(18)。服务器(14)可以提供用于转换源数据并控制接口的处理能力，使得终端(18)可以具有相对较低的处理能力。

Description

多传感器通信系统

技术领域

本发明一般地涉及通信，并且更特别地涉及传送和显示由多个设备生成的信息。

背景技术

在很多应用中，有必要集合来自大量源设备的信息，选择性地处理这些信息，并将结果提供给一个或多个目的地设备。例如，在医院里，护理站的监控器显示来自多个病人传感器的多个输入的状态。

以这种方式集合和显示信息所需的设备一般需要连接到源设备的强大的处理设备。这种处理设备有几个缺点：(1)这种处理设备比较昂贵；(2)这种处理设备不可移动；以及(3)这种处理设备一般不容易针对新的能力进行更新。

移动性通常是一种非常重要的能力。以医院监控站为例，优选的是由医院的护士来监控她们的病人，而不是使用集中的监控站。然而，成本和移动性使得这种解决方案并不切实可行。

因此，需要一种用于监控多个源设备的改进的方法和设备。

发明内容

在本发明中，用于监控多个传感器的系统包括使用信令协议向一个或多个服务器发送源数据的多个源设备。这些服务器处理源数据并将处理后的源数据发送给一个或多个目的地设备。

本发明提供了使用轻量级的终端来监控多个源的能力。服务器提供用于转换源数据并控制接口的处理能力，以减轻终端的集中处理负担。

附图说明

为了更全面地理解本发明及其优点，现在结合附图对以下描述进行参考，其中：

图1示出了用于以多模式方式传送和显示信息的系统的视图；以及

图2示出了图1中所用的图形和多模式代理服务器以及终端的框图。

具体实施方式

结合附图的图1-图2，可以最好地理解本发明，相同的标号用于各图中的相同部件。

图1示出了以多模式方式传送和显示信息的系统10的框图，该系统克服了现有技术的很多问题。系统10包括通过网络16与GMMP(图形和多模式代理服务器)14进行通信的多个源设备12，假定网络16是因特网或其他容易访问的IP网络。终端18也是通过网络16连接的。GMMP 14包括多传感器(MS)融合系统20。

源设备12使用SIP(会话初始协议)，或诸如H.323、MGCP(媒体网关控制协议)、MEGACO(媒体网关控制)之类的另一通信信令协议，或将来开发的任意协议与GMMP 14进行通信。由源设备12传送给GMMP 14的数据会依赖于这些数据的应用，这些数据可以包括例如原始数据(例如定期传送的当前温度)、事件信息(例如当前温度超过了门限)、状态信息(例如系统正在运行或系统发生故障)、音频和/或视频等。通过IP网络将这些信息以分组的形式发送给GMMP 14。

GMMP 14将来自源设备的分组信息转换为图形消息或其他形式(以下将描述)。将来自这些消息的数据发送给定制的终端。

在某些情况下，需要对来自一个或多个源设备12的数据进行处理，以便向用户提供有用的信息。在这种情况下，可以包括硬件和软件的任意组合的MS融合系统20将来自一个源设备12的数据与来自另一源12的数据或与GMMP 14可访问的另一数据相结合，或简单地处理这些信息使其具有有用的形式以便发送给用户。然后，GMMP 14以用户所期望的形式将处理后的数据提交给终端18。例如，如果来自源12的数据包括图形坐标，则使用SIP协议将该数据发送给GMMP14，并且MS融合系统20会处理该数据，以使用存储于GMMP 14上的地图图形或GMMP 14可访问的来自另一源的地图图形提供源12的位置的实时图形。MS融合系统20可以组合来自多个源的数据。例如，位于油井中不同位置的多个源12可以发送地震数据给GMMP 14。然后，MS融合系统20可以处理来自多个源的数据，以生成周围区域的可能油层(oil formation)的图形特征数据。

应当注意，单一的GMMP 14可以支持多个不同的应用。GMMP 14用作来自源12的信息的集中目的地，并且GMMP 14可以将该信息用于不同终端18的不同应用。

图2更详细地示出了用于GMMP 14和终端18的优选实施例。

该实施例所具有的特征类似于结合Suhail等人于2002年12月12日提交的序列号为No.10/317,447、题为“用于低能力终端的图形代理”(Graphical Proxy for Less Capable Terminals)的美国专利申请而描述的特征，在此引入该专利申请的内容以供参考，辅以用于在终端18上实现多模式接口的对话控制器，在Badt，Jr.等人于2004年6月30日提交的序列号为No.10/883,500、题为“图形和多模式代理体系结构”(Graphical and Multimodal Proxy Architecture)的美国专利申请中描述了该对话控制器，在此同样引入该专利申请的内容以供参考。GMMP 14包括两个主要的功能模块，即Web服务器30和终端管理系统32。Web服务器30包括请求解析器34、GUI(图形用户界面)生成器36和GUI定制器38。终端管理系统32包括终端管理器40、SIP堆栈42、转换器44和终端控制器46的多个实例(未示出)，其中终端控制器46的每个实例都与一个相应的终端18相关联。Web服务器30和终端管理系统32与数据库48进行通信。

终端管理系统32负责将关联的终端18注册到GMMP 14(如果在整个本说明书中假定还可以支持VOIP(IP承载语音)语音通信，则终端管理系统32还负责将每个关联的终端18注册到SIP代理50，但这并不是实现本发明所必需的)。终端管理系统32与Web服务器30进行交互，以向每个终端18提供定制的用户接口，以便显示从来自源12的数据中得到的信息。

终端管理器40管理与GMMP 14相关联的所有终端18。当用户在终端18上启动Flash(由加里福尼亚的MACROMEDIA，Inc.公司出品)客户端62(或适合于显示来自GMMP 14的信息的其他图形接口)时，终端18与终端管理器40建立连接。然后，终端管理器40针对该终端18实例化终端控制器46，并维护终端18与相应的终端控制器46之间的映射。

如果终端18支持多模式输入，则终端管理器40还提供IP地址(特定终端18的IP地址)、用于RTP(实时传输协议)的端口号、用于语音命令输入的端口以及终端的设备类型。终端管理器40将这些信息存储于数据库48中。

针对每个终端18实例化一个终端控制器46。每个终端控制器46都包括对话控制器52、手写识别(HWR)引擎54、用户代理56、会话控制系统58和数据库管理器60。每个终端控制器46的对话控制器52管理关联用户终端上的多模式接口。对话控制器52提供对话管理，使得可以与用户进行任务导向的、混合的主动对话。对话控制器52可以处理不同种类的对话特征，诸如查询丢失的信息，澄清模糊，以及得到对所识别的输入的反馈。

为支持多模式接口，每个对话控制器52与用户终端上的FlashGUI 62、可以包括例如自动语音识别引擎66和文本-语音引擎68的媒体服务器65、手写识别引擎54以及GMMP服务器14中的会话控制系统58进行交互。对话控制器52具有与Flash GUI 62的XML(可扩展标记语言)套接字连接。以XML消息的形式将图形消息从FlashGUI 62发送给对话控制器52。对话控制器52解析每个消息并采用转换器44将其转换为Java和XML绑定(JAXB)对象。对话控制器52还与GMMP客户端70(其包括Flash GUI 62和语音模块64)上的语音模块64进行交互。如果用户按下终端18上的“即按即说”(push-to-talk)按扭，就向GMMP服务器14发送一个表明这一动作的消息。在得知该动作之后，对话控制器52指示语音模块64要求终端18的麦克风获得来自用户的语音命令并开始与媒体服务器65的RTP会话。通过该RTP会话将语音命令发送给ASR引擎66。与此类似，当启动TTS(文本语音转换)时，对话控制器52通知语音模块64要求终端18的扬声器提供输出给用户的语音。

对话控制器52还发送RTP控制消息给语音模块64用于语音会话。当成功地建立了会话时，对话控制器52发送“开始RTP”命令给客户端上的语音模块64以开始与远端一方的RTP会话。在“开始RTP”命令中，其提供了开始RTP所必需的所有信息，诸如远端IP地址、远端端口、CODEC(多媒体数字信号编解码器)等。与此类似，当用户结束会话时，GMMP服务器发送“停止RTP”命令给语音模块以终止RTP会话。

用户代理56代表关联的终端18接收和发送SIP消息。图2中示出的用户代理56是SIP用户代理。用户代理56使用SIP堆栈42来解析输入SIP消息并生成输出SIP消息(尽管本发明是结合SIP协议而描述的，但ASR引擎66可以支持诸如H.323、MGCP、MEGACO之类的任一可用协议，将来开发的任一协议，或者多个协议)。用户代理56处理发往终端18的SIP请求和响应消息，并向会话控制系统58提供相关信息。

会话控制系统58管理对用于其关联终端18的信息的处理，这些信息包括所有激活的语音会话。对于来自网络的消息，用户代理56将消息中的信息提供给会话控制系统58。会话控制系统58监控对来自一个或多个选定的源12的输入数据的处理。当接收到数据时，在MS融合系统20中通过由会话控制系统58代表关联终端18而调用的一个或多个任务来处理该数据。

转换器44将XML消息转换为Java对象并将Java对象转换为XML消息。“JAXB”是Java和XML的结合。给定XML文档类型的定义和XML到Java的映射，JAXB就会生成分类，以对XML消息进行Marshal(列集)(根据分类创建XML文件)和UnMarshal(散集)(根据XML文件创建分类)。

SIP堆栈42提供了用于解析和创建SIP消息的方法。

Web服务器30存储定义终端18上的输出的Flash页面。GMMP生成终端18所需的多个不同的Flash页面。Web服务器30可以位于GMMP 14中或网络中其他地方。

每个数据库管理器60管理其关联终端18。终端18可以支持几个不同的窗，换句话说，单一的终端18可以监视来自GMMP 14的多个信息集。数据库管理器60为每个不同的窗维护单个文件夹。如果支持语音通信，则会话控制系统58就向数据库管理器60发送用于特定会话的会话状态图形表示。在一个优选的实施例中，数据库管理器60与图形客户端70以Flash通过XML套接字进行通信。

每个终端18执行用于与GMMP服务器14进行交互的客户端应用，在此称其为GMMP客户端70。该GMMP客户端包括Flash GUI 62和语音模块64。只要启动了GMMP客户端应用70，Flash GUI 62就建立与GMMP服务器14的连接，从Web服务器30下载特定的Flash页面。如果支持语音命令和语音会话，则语音模块64提供用于语音命令和语音会话的媒体信道(在所述实施例中是RTP)。GMMP客户端70上的语音模块64与对话控制器52通过接口连接以获得用于RTP的控制消息。

在操作中，使用SIP协议在GMMP处接收来自源12的数据。由于可以在GMMP 14中执行所有的资源集中的处理，因此只具有最小的处理能力的终端18可以监控数据。此外，呈现在终端上的显示内容由GMMP服务器14通过Web服务器30和媒体服务器65来控制，以便可以在终端18的外部处理大多数图形和视频。可以经由XML消息发送诸如文本之类的低带宽数据，并且可以将这些数据与来自Web服务器30的图形合并。

终端18还可以利用功能强大的接口，包括例如语音识别、文本-语音的转换以及手写识别，而不必具有这种接口通常所需的内部处理设备。

再次参考病人监控器的例子，护士可以发起会话，其中终端传送表明要监控哪个病人的标识符。会话控制系统58可以调用监控与该病人相关联的适当的源12所必需的程序。MS融合系统20可以对来自这些传感器的数据执行任何必需的处理，包括监控告警状况的条件。护士可以在移动计算设备上的单独的窗中查看每个病人的信息，该移动计算设备具有通过连接到因特网的医院内部局域网与GMMP进行通信的无线通信能力。

典型的病人窗可以包括显示病人身体功能，诸如心率、体温、血压以及来自外部数据库的与定期的药物治疗和其他治疗有关的信息。图形由Web服务器30提供，并且应结合Flash客户端62来查看这些图形。如果病人所说的任意内容在特定范围之外或如果没有按时执行预定的药物治疗或其他治疗，包括采用文本-语音引擎68对问题所进行的合成语音描述的警报器就会发出声音。

如果发生了紧急情况，则护士还可以利用终端18的通信能力。

然而，可以根据待监控的信息以多种不同的方式来使用本发明。一个重要的优点是，由于可以通过Web浏览器和XML/SIP命令有效地传送信息，因此终端18中只需要非常小的处理能力。

尽管已经针对某些示例性实施例对本发明进行了详细描述，但本领域的普通技术人员可以想到对这些实施例的各种修改以及替代性的实施例。本发明包括在权利要求范围内的任意修改或替代性实施例。

Claims (9)

1.一种图形多模式服务器，用于基于网络上多个源设备的输出数据来提供信息给至少一个目的地终端，所述目的地终端具有用于接收输入的图形多模式用户接口客户端，所述服务器包括：

用于使用会话初始协议接收来自所述多个源的数据的电路；

用于处理所述数据的电路；

用于在目的地终端建立与所述图形多模式服务器的连接后维护目的地终端与相应的终端控制器之间的映射的电路；

用于在建立所述连接后实例化目的地终端用户接口控制器的电路，其中目的地终端用户接口控制器的每个实例用于控制所述目的地终端上的相应GUI；以及

用于生成用于输出到至少一个所述目的地终端的信息的电路，所述信息包括以XML格式发往目的地终端的服务用户接口消息。

2.根据权利要求1所述的服务器，其中所述用于处理所述数据的电路还包括用于将来自多个源设备的数据进行组合以便输出到所述目的地终端的电路。

3.根据权利要求1所述的服务器，其中所述用于映射信息的电路将映射信息存储在至少一个外部数据库中，所述映射信息包括IP地址、用于RTP的端口号、用于语音命令输入的端口以及终端的设备类型。

4.根据权利要求1所述的服务器，其中所述服务器还包括用于向所述目的地终端提供多模式接口的电路，该电路还包括：

用于获取所述目的地终端的IP地址的电路；

用于获取用于RTP的端口号的电路；以及

用于获取所述目的地终端的设备类型的电路。

5.根据权利要求1所述的服务器，其中所述服务器还包括用于向所述目的地终端提供手写识别的电路。

6.根据权利要求1所述的服务器，其中所述服务器还包括用于向所述目的地终端提供语音识别的电路。

7.根据权利要求1所述的服务器，其中所述服务器还包括用于提供文本到语音的转换能力的电路。

8.一种基于多个源设备的输出来提供信息的方法，包括：

使用会话初始协议从所述源设备发送源数据；

在一个或多个图形多模式服务器处接收来自所述多个源设备的数据；

在所述一个或多个图形多模式服务器处处理所述源数据；

在目的地终端建立与所述图形多模式服务器的连接后实例化目的地终端用户接口控制器，其中目的地终端用户接口控制器的每个实例用于控制所述目的地终端上的相应GUI；以及

以XML格式的用户接口消息的形式将处理后的源数据输出到一个或多个所述目的地终端，每个所述目的地终端具有图形多模式用户接口客户端。

9.根据权利要求8所述的方法，其中还包括向所述目的地终端提供多模式接口的步骤，该步骤还包括：

获取所述目的地终端的IP地址；

获取用于RTP的端口号；以及

获取所述目的地终端的设备类型。

Images