CN1983996A - 通信系统的分层测试系统和方法—与实体相关的自动测试选择 - Google Patents

通信系统的分层测试系统和方法—与实体相关的自动测试选择 Download PDF

Info

Publication number
CN1983996A
CN1983996A CNA2006101639323A CN200610163932A CN1983996A CN 1983996 A CN1983996 A CN 1983996A CN A2006101639323 A CNA2006101639323 A CN A2006101639323A CN 200610163932 A CN200610163932 A CN 200610163932A CN 1983996 A CN1983996 A CN 1983996A
Authority
CN
China
Prior art keywords
test function
entity
test
communication system
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006101639323A
Other languages
English (en)
Inventor
C·N·恩戈
C·W·默雷
G·索普罗维赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel Lucent SAS
Alcatel Lucent NV
Original Assignee
Alcatel NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel NV filed Critical Alcatel NV
Publication of CN1983996A publication Critical patent/CN1983996A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H04L41/0645—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis by additionally acting on or stimulating the network after receiving notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H04L41/065—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving logical or physical relationship, e.g. grouping and hierarchies

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)

Abstract

公开了用于测试通信系统的分层测试系统和方法。测试实体的测试功能被分类为测试功能组，所述实体例如通信系统的设备或服务。测试功能组具有基于通信系统中的操作相关性顺序的顺序。针对要测试的特定实体将要执行的测试功能，从用于测试实体本身的测试功能和用于测试其它实体的测试功能中进行选择，其中所述其它实体与要测试的实体具有操作相关性。还公开了相关的数据结构和用户接口。

Description

通信系统的分层测试系统和方法-与实体相关的自动测试选择
相关申请的交叉引用
本申请涉及序列号为11/243,388、名为“MANAGEMENT OF TIEREDCOMMUNICATION SERVICES IN A COMPOSITE COMMUNICATION SERVICE”和序列号为11/243,005、名为“COMPOSITE COMMUNICATION SERVICE MANAGEMENT”的美国专利申请，两者都在2005年10月4日提交，并转给本申请的受让人。
技术领域
本发明一般涉及通信，并且特别涉及用于诊断和/或监控目的的通信系统的测试。
背景技术
根据当前的通信系统管理系统和技术，网络运营商或其它个人手动选择和执行通信系统测试，来确定影响了在通信系统中运行的服务的服务性能降低或者其它观测到的情况的根本原因。
这个过程一般耗费时间并且也需要高级技术，特别是在较大范围内或者复杂的通信系统中。例如，通信服务可能依赖许多潜在技术，其中任何一项都可能是形成观测到的问题的原因。为了恰当地测试这样的服务，需要操作者首先精确调查服务的配置方式、服务依赖的技术、和那些技术的适当的测试。然后，任何测试将必须以正确的顺序执行。在常规系统中手动地执行所有这些操作。
因此，例如，仍需要用于测试通信系统、对服务级问题进行故障诊断或者用于监控服务的改进技术。
发明内容
本发明的一些实施例旨在组织和管理通信系统的测试功能。例如，可提供分层通信服务保证系统，其中测试功能被安排到组，并且基于服务的拓朴，自动选择要被测试的通信服务的具体测试功能。测试选择也可能考虑支持通信服务的通信设备的能力。例如，可能一些通信网络单元并不能够执行某种测试。这些能力也能用来控制测试的选择。
测试功能，例如OAM(操作、管理和维护)测试，可以分成不同的“测试等级”，这基于通信系统中通信服务的结构。如果具有较高等级的性能问题，例如通信服务等级，那么可能调用较低等级的测试来发现较高等级问题的根本原因。一个等级内，可能有数个相关的可能是不同类型的测试功能。
一些实施例中，能自动生成一套通信系统实体元件的测试，如通信服务、协议层、或者通信设备。在通信系统中可以执行所有生成的测试，或者仅被选择的生成的测试。
根据本发明的一个方面，提供包括测试功能分类器和测试功能管理器的系统。配置测试功能分类器，来将通信系统的测试实体的测试功能分配到多个测试功能组中的一个测试功能组。测试功能管理器可操作地耦合到测试功能分类器，并且基于，在通信系统的实体与通信系统的其它实体之间的操作相关性，如果有的话，被配置来将所述实体与用于测试所述其它实体的测试功能组相关联。
该实体可以包括下列一个或多个：通信系统中支持的通信服务、通信系统中使用的通信协议栈的层，和包括通信系统的设备。
可以进一步配置测试功能管理器，来从与要被测试的实体相关的每个测试功能组中选择在通信系统中要被执行的测试功能。
在一些实施例中，系统还包括通信系统接口，所述接口可操作地耦合到测试功能管理器，用于将信息传输到通信系统。通过向通信系统传输信息，测试功能管理器也可以使得一个或多个测试功能在通信系统中执行。
一些实施例中，进一步配置测试功能管理器来确定这样的顺序，按照该顺序在通信系统中执行每个被选择的测试功能。
系统还可以包括接口，它用于接收一个或多个：定义多个测试功能组中一个或多个测试功能组的输入；在通信系统中控制哪些测试功能将被执行的输入；在通信系统中控制将执行测试功能的顺序的输入；指定要被测试的实体的输入；和指定其它实体的输入，所述其它实体与要被测试的实体具有操作相关性，将针对所述要被测试的实体选择测试功能。
测试功能组还包括具有多个测试功能子组的测试功能组，该测试功能子组包括测试各个不同类型的实体的测试功能。
测试功能组的一个或多个子组中由测试功能测试的实体，可以和由该测试功能组的其它子组中的测试功能测试的实体具有相同或不同的操作相关性。
可以进一步配置测试功能管理器，基于一个或多个实体和每个其它实体的测试能力，从每个分别与实体和每个其它实体相关的一个或多个测试功能组中，选择测试功能，所述其它实体与所述实体具有操作相关性。
还提供了一种方法，包括定义安排测试功能的多个测试功能组，所述测试功能用于测试通信系统的实体，并且基于实体间的操作相关性的顺序，定义多个测试功能组的相对顺序。
该方法可以包括以下操作：分配测试功能给多个测试组的测试组，并且基于在通信系统的实体和通信系统的其它实体之间的操作相关性，如果有的话，将所述实体与用于测试所述其它实体的测试功能组相关联。
一些实施例中，该方法进一步包括，从与要被测试的实体相关的每个测试功能组中选择将在通信系统中执行的测试功能。也可以确定将在通信系统中执行每个选择的测试功能的顺序。
顺序包括顺序条件，该条件导致下列中的一个或多个：在测试功能确认正常的实体操作的情况下，停止测试功能的顺序；在当前测试功能显示实体操作中的错误的情况下，执行所述顺序中的下一个测试功能；以及，基于当前测试功能的结果，从多个测试功能中选择下一个测试功能。
一些实施例中，该方法包括，基于一个或多个实体和每个其它实体的测试能力，从一个或多个测试功能组的每一个中选择测试功能，所述测试功能组分别地与实体和与有实体具有操作相关性的每个其它实体相关。基于以下的一个或者多个来确定将执行每个被选择的测试功能的顺序：实体和每个其它实体之间的操作相关性，以及指定了测试功能顺序的输入。
该方法也可以包括下列中的一个或多个：分析一个或多个选择的测试功能的结果，以及提供对一个或多个选择的测试功能的结果的表示。
根据发明的另一个方面的数据结构包括：标识了用于测试通信系统的实体的测试功能的信息，指示多个测试功能组中的、已分配测试功能的测试功能组的信息，基于通信系统的实体和其它实体之间的操作相关性的顺序，多个测试功能组具有相对顺序。
发明的另一个方面提供了用户接口，该接口包括各个可视单元，所述可视单元表示测试通信系统的实体的测试功能，测试功能包含分配给多个测试功能组的测试功能，每个测试功能组包括各自套用于测试通信系统的实体的一个或多个测试功能。可视单元表示的测试功能包括用于测试通信系统中被操作相关性关联的实体的测试功能。
根据下列描述，对于本领域那些普通技术人员来说，本发明实施例的另外的方面和特征将变得明显。
附图说明
现在将参考附图较详细地描述本发明的实施例的例子，其中：
图1是通信系统的框图；
图2是测试功能组结构例子的框图；
图3是一对相连接的通信服务的框图；
图4是通信系统的管理系统的框图；
图5是通信系统测试方法的流程图；
图6是用于定义和管理测试策略的UI(用户接口)例子的框图；
图7是测试组合UI的例子的框图；
图8是UI例子的框图，在UI中显示实体的测试组合；
图9是测试功能数据结构的框图；
图10是示出了包括在提供组合通信服务中的组分(component)通信服务的简图；
图11是表示组合通信服务的数据结构的框图；
图12是表示组合通信服务的服务连接器的数据结构的框图；和
图13是表示组合通信服务的组分通信服务的数据结构的框图。
具体实施方式
图1是通信系统的框图。通信系统10包括具有网络单元18、20、22、24、26、28、30的多个通信网络12、14、16。通信网络14的网络单元24、26可操作地耦合到多个接入设备32、34，该多个接入设备为终端用户提供到通信网络14的接入。网络单元18、20、22、24、26、28、30的任一个或所有可以由管理系统36来管理。
通信系统可以有许多不同拓朴，包括较多或较少的具有相似于或不同于图1所示的设备的通信网络。例如，不同的通信网络可以使用不同的接入方案。如图所示，终端用户通过多个接入设备32、34访问通信网络14，然而，通过网络单元30提供对通信网络16更直接的终端用户接入。因此，应理解图1的系统和其它图形的内容仅为了示例性目的，并且本发明决不被限制于图中明确示出和这里描述的特殊示例性实施例。
交换机和路由器是网络单元18、20、22、24、26、28、30表示的通信设备的类型的例子。除图1明确所示的边界或边缘网络单元外，通信网络12、14、16也可以包括中间网络单元，中间网络单元通过通信网络12、14、16发送通信业务量。因此任何或者所有的通信网络12、14、16可以包括边缘、核心、和/或其它类型的通信设备。在其它实施例中，这里公开的技术结合可以不必连接到网络中的通信设备使用。因此，对通信设备和连接的参考应作相应解释。
可由管理系统36提供管理通信网络12、14、16的功能，来配置例如连接和服务、控制通信设备、和/或监控网络操作。尽管如图1单个元件所示，在由不同的实体操作通信设备的情况下，可实现多个管理系统。下面参考图4详细描述管理系统的例子。其它管理或控制设备，如本地操作者终端，也可以在任何和所有通信网络12、14、16中设置。
多个接入设备32、34将通信业务量分发给终端用户设备和/或者接收来自终端用户设备的通信业务量，所述用户终端设备例如计算机系统，通过它生成和传输和/或接收和终止通信业务量。在与终端用户的连接是DSL(数字用户线)连接的情况下，例如，多个接入设备32、34可以是DSLAM(数字用户线接入多路复用器)。客户边缘路由器和其它客户端设备是多个接入设备32、34的其它例子。
许多不同类型的网络、接入和终端用户通信设备及其操作，对于本领域的技术人员是明显的。一般说来，可能通过一个或者多个通信网络12、14、16，在源和目的地之间传输通信业务量。业务量在传输过程中可以在不同的协议或者格式之间转换。如这里进一步详细地讨论的，通信业务量的转换可以涉及通信系统10中支持的多个通信服务，例如在不同的通信网络12、14、16中支持的通信服务，配置这些服务来协同提供组合通信服务。
在一个特定示例性实施例中，使用IP(因特网协议)或者MPLS(多协议标记交换)在通信网络12中发送业务量，通信网络14、16是以太网络，并且多个接入设备32、34是DSLAM。
但是，应理解，本发明的实施例不受限于任何特殊类型的通信设备、传输机制、或者协议。本领域的技术人员熟悉使用本发明的实施例所结合的各种通信系统实施和服务。还可以设想，本发明的实施例可以应用到随后发展的通信系统和服务。
图1还以服务点和其间互连的形式，示出了通信服务11、13、15。由于通信服务11、13、15通过通信设备和设备间的物理连接传输数据，在通信网络12、14、16中通信设备支持这些服务。但是，通信网络和其单元不可能具有任何类型的服务“意识”。例如，网络单元不能正常地了解通信服务的全部拓朴，该拓扑通过在那个网络单元处提供服务站点来建立。而且，通信设备一般不能区别相同通信服务的服务站点间的连接和不同通信服务的服务站点间的连接。很清楚，例如，当服务站点之一的、通过它可访问通信服务的SAP(服务接入点)，通过光缆实际上被连接到不同通信服务的另一个服务站点的SAP时，通信设备一般情况下是完全不知道的。
考虑这种情形的例子，其中整个系统10在例如NSM(网络和服务管理系统)管理系统36的管理之下，通过管理系统36可配置和管理通信设备和服务。管理系统36能用于提供任何它管理的网络单元中的服务站点，在此例子中网络单元包括所有的网络单元18、20、22、24、26、28。
如图1所示，服务站点17、19、21、23提供在网络单元18、20中且被互连来建立通信网络12中的通信服务11，服务站点25、27、31、33、35、37、39提供在网络单元22、24、26中且被互连来提供通信网络14中的通信服务13，而服务站点43、45、47、49在网络单元28、30中被提供且被互连来提供通信网络16中的另一个通信服务15。在不同服务之间连接这些服务站点中的一些，尤其是服务站点17/25、23/43，来建立使用所有单个通信服务11、13、15的组合通信服务。当然，其它类型的服务站点和通信服务设备也是可能的。
在包括所有的通信服务11、13、15的组合通信服务的环境中，通信网络12、14、16中的网络单元18、20、22、24、26、28可以被认为是整个服务提供商网络的一部分。
对于本领域技术人员来说，根据图1，实际设备和通信服务之间的关系将是明显的。通信服务有效地覆盖通信设备。例如，网络单元18/22、20/28之间的连接可以是物理连接，然而图1的虚线所示的服务站点17/25、23/43之间的逻辑连接允许数据在服务站点之间通过物理连接传输。
组合通信服务是实体的一个例子，这里公开的技术可以应用于此实体。下面进一步详细地考虑组合通信服务的特定例子。但是，应理解本发明的实施例也可以或者代替地结合其它类型的实体使用。
通过通信服务，或者更一般地通信系统的任何实体，通信业务量传输可涉及多个基本实体。例如，通信网络12中提供的通信服务11可以包括通过传输协议上建立的逻辑连接来传输通信业务量，所有传输协议都运行在物理通信设备上。通信服务11可以被认为是通信系统10的一个实体，通信系统10可操作地依靠系统的另外的实体。除非通信服务11的逻辑连接正确操作，否则通信服务11不能正确操作，这依次受传输协议和物理设备操作的影响。
因此，应理解存在着所有这些实体的操作相关性的顺序，实体即通信服务、连接、传输和物理设备。
此类分层技术用于数据网络以实现如有效诊断和宽带管理这样的技术特征。典型的服务提供商数据网络可能从使用以太网和SONET/SDH(同步光纤网/同步数字系列)技术的物理层开始。有多种分层方法来通过服务提供商网络传送数据，其中包括TCP(传输控制协议)/IP/以太网/MPLS/IP/PPP(点对点协议)/SONET和UDP(用户数据报协议)/IP/以太网/ATM(异步传输模式)/MPLS/IP/以太网。如上所述，在较高层观测到的问题的根本原因很可能来自较低层。因此，好的诊断机制应该具有内置分级层意识。
图2是测试功能组结构的例子的框图。如所示，根据分层结构40，可以安排或分类测试通信系统的各种实体的测试功能。结构40包括组50、60、70、80、90、100、110，这些组具有基于可测试实体的操作相关性的顺序。
图2示出的组、测试功能、可测试实体、和顺序仅仅表示例子，并且不限制发明的范围。例如，对于不同通信网络和/或者协议栈实施，特定的操作相关性可以变化。本领域技术人员将熟悉各种类型的通信系统，本发明的实施例结合这些通信系统使用。还可以设想，本发明的实施例可以应用到以后发展的通信系统和服务。图2示的表格也不总意味着测试等级间自顶向下的关系。例如，由组90中测试功能测试的实体可以在操作上与相同组中或者较高组中的另一种技术相关。例如，RSVP(资源预留协议)上的LDP(标记分配协议)可能具有依靠组90内的另一个条目的组90内的条目。
结构40中的最高组50包括用于测试通信系统的应用实体的测试功能。组50中的测试功能进一步被安排到用于测试不同类型应用实体的子组52、54、56，不同类型应用实体分别包括DHCP(动态主机配置协议)应用实体、UDP/TCP应用实体，和DNS(域名系统)应用实体。组50中的测试功能包括DHCP子组52中的DHCP查找功能、UDP/TCP子组54中的UDP/TCP探测功能、和DNS子组56中DNS查找功能。
范例性结构40中的下一个测试功能组60包括用于测试服务实体的测试功能，处于下一个较高等级的应用实体依赖于该服务实体。此处这个概念被称为操作相关性。例如，可以认为服务实体为应用实体提供传输。更一般地，操作相关性可以存在于实体之间，所述实体与在相同或不同等级上的测试功能和测试功能组相关。
与测试功能组50中的测试功能一样，组60中的测试功能被安排为子组62、64、66、68、69，这些子组对应不同类型的服务，即VLL(虚拟租用线路)服务、VPLS(虚拟专用局域网服务)、IES(互联网增强服务)、MPLS/BGP VPN(多协议标记交换/边界网关协议虚拟专用网)，有时也参考3层VPN或者VPRN(虚拟专用路由网络)，和VLAN(虚拟局域网)服务，本领域那些技术人员应熟悉所有这些服务。每一个子组包括用于测试服务实体的各个类型的测试功能。
VLL子组62包括MAC(媒体接入控制)填充、MAC清除、MAC-ping、和MAC跟踪测试功能，如在61所示。VPLS子组64也包括MAC-ping、MAC跟踪、MAC填充、和MAC清除测试功能，以及CPE(客户端设备)-ping和MFIB(多播转发信息库)-ping测试功能，如在63所示。如果有的话，IES测试功能将包括在子组66中。MPLS/BGP VPN子组68中的测试功能65包括ping和跟踪功能。VLAN子组69包括MAC-ping和MAC跟踪测试功能67。
当要测试对应实体时，子组中的任何或者所有测试功能可以在通信系统中执行。将执行的测试功能可以由用户自动地或者手动选择。在一些实施例中，自动选择测试功能组或子组中所有测试功能，然后，用户选择实际将执行那些测试功能中的哪些。并且在一些实施例中，基于与将测试的实体相关的信息，自动地选择测试功能组或子组的子集。
这应该从组60中注意，组和/或子组的分配并不是唯一的。尽管在通信系统中特定协议或者分级等级处，每个测试功能组包括用于测试实体的测试功能，但是在那个等级上相同测试功能可以用来测试一种以上实体的类型。例如，测试功能子组62、64、69都包括MAC-ping和MAC跟踪测试功能。
由相同测试功能组的不同子组功能的测试功能所测试的实体不可能具有相同的操作相关性。例如，通过比较VLAN子组69和MPLS/BGP VPN子组68，这将是明显的。然而，MPLS/BGP VPN子组68在结构40内被安排高于组70、80、90、100和110，子组69仅排在组110上。
在一个实施例中，通信服务的通信业务量经由通信路径传输，所述通信路径通过不定向绑定与通信服务在逻辑上相关。测试功能组70和80包括各自的用于测试绑定和该通信路径的测试功能。使用svc(服务)-ping测试功能74，可测试绑定实体，这里绑定实体被称为电路。使用ping功能84可测试通信路径，该通信路径也可被称为管道或隧道。路径实体测试功能的特定属性将取决于被测试的路径的类型。
图2中，出于说明的目的，已单独地示出组70、80的子组72、82。包括只对一种实体测试的测试功能组，如70，不必必须包括子组。但是，测试功能安排成子组有利于测试组的未来扩展，以包括在相同等级上用于其它类型实体的测试功能。例如，单个子组72可以被定义在结构40中，这样，如果随后定义另一个子组，测试功能74已经分配给子组。
根据子组82这将是明显的，用于不同类型实体的测试功能可以包括在相同的组/子组。因此，子组分类是可选的，并且可以不必在所有的实施例中实施。
测试功能组90，用于图2中范例性结构中的传输等级的实体，包括子组92、94、96、98，用于包括测试LSP(标记变换路径)实体、LDP实体、RSVP实体和GRE(通用路由封装)实体的测试功能。LSP子组92包括LSP-ping和LSP跟踪功能91，并且LDP子组94包括LDP跟踪和LDP-ping功能93。用于测试RSVP实体和GRE实体的测试功能分别包括在子组96、98中。
测试功能组90也说明测试功能组可以在结构40中不同子等级处包括子组92、94/96。例如，使用LDP或者RSVP会话建立了LSP。如果LDP/RSVP会话失败，那么LSP可能下降。在一些网络单元上，许多LSP可以共享相同的LDP或者RSVP会话。
在结构40中下一个较低等级处是路由网络等级，在此等级上测试功能组100包括用于IP单播和IP多播实体测试功能101、103、105的子组102、104。IP单播测试功能101包括ICMP(因特网控制报文协议)-ping和ICMP跟踪功能，并且IP多播测试功能103、105包括状态、信息、跟踪、和mgmt(管理)功能。例如，跟踪功能可以使用IGMP(因特网组管理协议)的扩展，用于在网络中跟踪多播业务量。可以按照与跟踪功能相似的方式支持状态功能，但提供不同的输出。信息功能用于从邻近的路由器/服务找回涉及多播的路由器信息，并且管理功能用于监控多播路由器操作。
结构40中的最低等级组110与OSI1层和2层(L1/L2)实体相关，所述实体包括ATM实体、帧中继实体、POS(SONET上的分组)实体和以太网实体，每一个实体具有对应的子组112、114、116、118。在111中作为ATM实体测试功能的例子示出了ATM-ping，并且在113中作为以太网实体测试功能的例子示出了MAC-ping和MAC跟踪。用于帧中继和POS实体的测试功能将包括在子组114、116中。
并不是图2的结构40中所有的子组都包括测试功能。例如，测试功能组结构和顺序可以基于将在通信系统中提供的服务实体的预期的操作相关性进行定义，然后当在通信系统中实际配置服务和/或者测试功能时，用于对测试功能进行分类。
本领域技术人员将熟悉图2中明确示出的各种测试功能。尽管在常规系统中这些测试功能是可用的，但是这些测试没以如图2所示的任何特定方式安排。用于特定实体的测试功能可以手动地被识别和执行。常规系统不考虑实体间任何种类的操作相关性，用于分类测试功能或者发展用于可测试实体的测试计划或者组合。
下面将参考图3基于测试功能结构40描述完整的测试过程的例子，图3是一对连接的通信服务的框图。
图3的多服务系统120的例子包括两个服务122、124，它们由连接126可操作地耦合，所述连接例如一对不定向通信路径127、129。例如，通过将每个服务122、124绑定到相同的隧道，可以建立路径127、129。
每个服务122、124包括通过网状连接131/133/135、141/143/145互相连接的多个服务站点132/134/136、142/144/146。服务站点136、142通过连接126连接，并且其它的服务站点可以可操作地耦合到其它SAP，可通过SAP访问服务122、124。
例如，假设图3中的服务1和2是VPLS服务，并且通过特定VPLS，例如服务1，操作者得知通信业务量似乎比预期的慢。在一些实施例中能自动检测此类性能问题。
例如，在所有站点仍有其正常连通性的情况下，到/从服务站点132/134/136或者在所述服务站点的哪些之间的通信业务量实际上受到影响，是不可能立即明的。发明的实施例允许操作者或者其他人员选择VPLS实体自身进行测试，而不是必须手动地跟踪通信系统中的VPLS服务和其操作相关性。该选择也能是自动功能，当检测到影响可测试实体的错误或者退化时，和/或者基于服务的修改(创建服务、增加新的服务站点、改变隧道等)执行该自动功能，以便于检验服务的连通性和性能。
此例中的测试可能以CPE-ping功能开始，该功能测试连接到VPLS服务站点的每个SAP和它的相应CPE之间的连接。基于CPE-ping功能，可能确定沿着从站点136到站点142方向上的业务量已下降。分组丢失、站点136、142之间的高平均往返时间、和/或出(站点136到站点142)和入(站点142到站点136)业务量特性可以可指示在连接129上的沿此方向的问题。
现在参考图2和3，这个问题可能归因于服务122和通信路径之间的绑定，它在此通信路径或者较低等级上传输通信业务量。如果服务ping功能指示正常的绑定操作，那么由沿着从站点136到站点142的方向的服务122使用的隧道可能正是问题的来源。再次，能执行该等级的测试功能。所述测试功能可以恰好覆盖服务传输等级，或者还包括LSP等级测试功能，等等。
以这种方式，根据实体对于通信系统的其它实体的操作相关性，所述实体可以与多个测试功能组相关。在常规系统中，必须手工地发现这样的操作相关性来识别和执行合适的测试。发明的实施例通过自动确定测试功能简单化这个过程，该测试功能不仅用于将要测试的实体还可以用于与将要测试的实体具有操作相关性的其它实体。操作相关性可用于在实体之间“跨越”、“上”、“下”移动。
考虑上面的例子，通常VPLS将仅与63处示出的VPLS测试功能相关。但是，根据发明的实施例，VPLS不仅与VPLS特定测试功能相关，而且与用于测试其它实体的测试功能相关，所述其它实体与VPLS具有操作相关性。
从下面图4的描述中这些和其它有关的测试功能的特征将变得明显，图4是通信系统的管理系统的框图。
图4示出了示意性的管理系统150范例，它包括配置/管理接口152、可操作地耦合到配置/管理接口152的测试功能分类器157、可操作地耦合到配置/管理接口152和测试功能分类器157的测试功能管理器159、可操作地耦合到测试功能管理器159的通信系统接口154、和可操作地耦合到测试功能分类器157和测试功能管理器159的存储器158。如所示，可以使用处理器156实现测试功能分类器157和测试功能管理器159。
可以作为通信系统的全部管理解决方案的一部分提供实现发明的实施例的管理系统，并且因此可结合图4没明确显示的其它元件和功能来操作。因此，发明的实施例可以包括进一步的、较少的、和/或不同的元件，这些元件以与所示相似或不同的方式可操作地耦合。另外，图4所示的特定功能划分也仅用于说明的目的。在其它实施例中，可以用两个以上元件或者模块，或者以单一的元件和模块，提供分类器157和管理器159的功能。
图4的元件之间互连类型将至少在某种程度上是与实施相关的。在系统150的元件用硬件实现的情况下，通过诸如计算机系统总线的物理连接器提供所述互连。在一些实施例中，至少分类器157和管理器159在由处理器156执行的软件中实现。此种情况下，这些元件之间可操作耦合可替代地是逻辑的。例如，分类器157和管理器159可以访问存储器158中相同的数据结构，由此数据结构表示分类器157和管理器159之间的逻辑可操作连接。
配置/管理接口152可以包括用于接收用户的输入和/或给用户提供输出的一个或多个设备。例如，用户可以使用键盘和鼠标，通过输入或选择信息来执行测试控制/管理任务，且通过在显示器上呈给用户的信息可简化这些任务。例如，配置/管理接口152可以支持任何或全部OSSI(操作支持系统接口)和GUI(图形用户接口)等，所述OSSI接收来自另一个系统的命令和/或其它输入。例如，可使用诸如应用程序接口的接口来提供对OSSI的支持，以允许外部系统与管理系统150交互。
在可能的本发明的实施例的大多数实施中，管理系统150将与通信系统通信。通信系统接口154包括发射机、接收机、或者例如以收发机的形式两者兼有，来实现这样的通信。如下面进一步的详述，在要执行测试功能时，管理系统150可以发送测试和/或控制信号给通信系统中的通信设备。管理系统150也可接收诸如来自通信系统的测试信号响应和/或测试功能结果的信息。
本领域技术人员应理解，通信系统接口154的特定结构和操作依赖于：管理系统150与之通信的特定通信系统和设备、管理系统150和通信系统之间使用的介质和协议、以及管理系统150是否发送、接收或者既发送信息到通信系统又从通信系统接收信息。
测试功能分类器157和测试功能管理器159可以用硬件、软件或者用软硬件的某种组合来实现，其中，软件由诸如如微处理器、ASIC(专用集成电路)、FPGA(现场可编程门阵列)或者其它类型的处理单元的处理器156来执行。尽管图4示出单个处理器156，但也可设想多处理器实现，其中使用一个以上处理器单元实现分类器157和管理器159。同样地，使用硬件或软件，可以部分或者全部实现管理系统150的其它元件。
存储器158可以包括一个或多个相同或不同类型的存储器设备。例如，固态存储设备和使用移动和/或可拆卸存储介质的设备是存储器158可包括的存储器设备的类型。应当理解，例如，对于如所示的管理系统150、或者管理系统可访问的服务器的远端存储而言，存储器158是本地的。在一个实施例中，存储器78用于实现数据库系统。
在操作中，测试功能分类器157将用于测试通信系统的实体的测试功能分配给大量测试功能组中的一个。测试功能管理器159将通信系统的实体与一组用于测试通信系统的不同实体的测试功能相关联。将可测试实体与对应于不同实体的测试功能组的联系是基于，如果有的话，两个实体间的操作相关性，并且也可能是支持可测试实体的通信设备的测试性能和/或其它特性。例如，如上所述，一个实体可以在操作上依赖于其它实体。
例如根据图2的描述，这也是明显的，在要被测试的实体有多个操作相关性的情况下，要被测试的实体可以与一个以上其它实体的测试功能组相关。通过服务实体、服务传输绑定实体、服务传输实体、传输实体、路由网络实体，和L1/L2实体，应用实体可以具有多个相关性。因此，如果应用实体要被测试，例如当用户通过选择UI中应用实体的表示调用测试功能时，应用测试功能组和其它测试功能组可以与要被测试的应用实体相关。任何或所有相关的测试功能组可以用来生成实体的测试计划。
其中，通信系统的可测试实体可以包括在通信系统中支持的通信服务、在通信系统中使用的通信协议栈的层，和包括通信系统的设备。
测试功能管理器159可以从每个与要被测试的实体相关的测试功能组选择一个或多个测试功能。通过通信系统接口154，测试功能管理器159可以发送信息到通信系统，以使得每个被选择的测试功能被执行。发送的信息可以包括测试信号或者实际执行测试中涉及的其它信息，和/或控制信号，所述发送的信息命令通信系统的其它元件执行选择的测试功能。
测试功能管理器159还确定选择的测试功能将被执行的顺序。基于图2所示的层中测试功能组的顺序，可以确定测试功能顺序。也可考虑测试功能顺序的外部控制。例如，用户可通过OSSI输入顺序信息，该信息具有经由配置/管理接口152在系统150被接收的信息。
输入也可以或者替代地定义或者修改任何或所有的测试功能组，和/或为可测试实体选择要被执行的特定测试功能。例如，最初定义的一套测试功能组可能不应用于随后配置的、诸如新的通信服务的可测试实体。在此情况下，可修改这套测试功能组的结构以包括例如新的子组，或着可以用新的一套测试功能组代替现存的一套。在配置测试功能管理器159以自动从所有相关测试功能组中选择所有测试功能的情况下，选择要被执行的测试功能是有用的。然后，通过从生成的测试组合(test suite)中移出不必要的或不期望的测试功能，用户可具有对测试功能的最终控制，以限制执行的测试功能的数目。
图5是通信系统测试方法的流程图。方法160在162以定义用于安排测试功能的测试功能组的操作开始。测试功能组安排测试功能，以测试通信系统的各个实体。然后，基于由组的测试功能测试的可测试实体之间的操作相关性顺序，在164定义测试功能组的相对顺序。图2中示出了并且上面描述了一套测试功能组的例子，该测试功能组具有反映通信系统的分层结构的相对顺序。
例如，测试组结构可在162、164处由用户定义，或者由管理系统或者管理软件的制造商预先定义。还考虑具有两类测试组结构定义的实施例。例如，如上所述，当在通信系统配置新的服务时，用户可修改或者替代现存的测试组结构以便与与这些服务一致。尽管在多数实施例中162、164处的操作将仅执行一次，本发明决不排除新测试组结构的定义或者现存的测试组结构的修改。
在166，测试功能被分类，即，被指定给测试功能组。测试功能可基于它打算测试的特定实体由用户手动地分类或者由管理系统自动地分类。一些测试功能能够在通信系统的不同结构上或者协议等级上测试不同实体，并且因此可以被分配给多个组。例如，参考图2，可使用MAC-ping功能测试VLL、VPLS、VLAN、和以太网实体，并且因此被分配给多个测试功能组60、110和子组62、64、69、118。例如，尽管有点不同地配置MAC-ping功能以测试这些具有不同的源和目的地址的不同实体，但测试功能本身以实质上相同的方式操作来测试所有这些实体。
该方法在168，进行将通信系统的实体和用于测试通信系统的另一个实体的一组测试功能组相关联的操作。这基于所述实体和所述其它实体间的操作相关性，如果有一个相关性存在的话。例如，可以从储存在存储器158(图4)的数据库中的配置信息中检测操作相关性。配置信息的分析能揭示，例如通信服务的实体是否并且怎样依赖于它自己的业务站点和/或其它实体之间的连接、那些连接是否和怎样依赖于任何基本技术，等等，直到通信业务量的传输依赖的最低的物理元件。操作相关性也可以或替代地在相反的“向上”方向上被被跟踪，以建立实体和测试功能组之间的关联。
然后，在169从每一个与要被测试的实体相关的测试功能组选择测试功能，并且也可以在通信系统中执行任何或所有选择的测试功能。要被执行的测试功能的最后选择可以依赖于输入，如从用户接收的输入。例如，测试功能可从自动选择的测试功能的列表中移出，也可加到该列表中。选择的测试功能要被执行的顺序可以类似地自动和/或基于输入进行确定。
应理解，图5的方法160仅用于说明的目的，并且不限制发明的范围。发明的实施例可涉及进一步的、较少的或者不同的操作，所述操作可以类似于或不同于所示的顺序执行。根据以上对图2、3和4的描述，执行图5所示的操作的各种方法、和在一些实施例中执行的进一步的操作，对本领域技术人员来说将是明显的。也可以考虑其它的变体。
例如，根据预定的进度表，自动调用实体的测试功能的顺序。服务提供商可以希望周期性地测试通信服务以确保满足SLA(服务级协定)。手动地调用测试功能顺序也是可能的，例如其中用户能根据显示的通信系统的表示，选择可测试实体。
一些实施例中提供的另一个可能特征是变化的测试功能的顺序。测试功能的顺序没必要仅指定要被执行测试功能的顺序。顺序可以包括一个或多个顺序条件，例如如果测试功能肯定了正常的实体操作，使得测试功能的顺序停止。在此情况下，正常的测试功能结果可能显示问题的根本原因在于先前测试的实体，其中测试功能顺序通过通信系统的分层等级“向下”移动。如果当前测试功能显示在实体的操作中的错误，类似的测试功能顺序条件可以导致测试功能顺序继续进行顺序中下一个测试功能的执行。分支条件也可以或替代地包括在测试功能顺序中。基于当前测试功能的结果，此类条件将导致从几个可能的测试功能中选择下一个测试功能。
当测试功能的结果变得可用时，可被执行的随后的动作包括：分析任何或所有测试功能的结果和提供一个或多个测试功能的结果的表示。例如，在一套预定或用户定义的规则中，指定这些动作。可以针对每个结构/测试的等级、针对每个实体类型、或者针对特定的可测试实体，建立结果处理规则。例如，这些规则类型的组合也是可能的，例如针对通信服务实体建立一套默认的规则以及针对VPLS实体建立一套特定规则。
也可以考虑这些规则的用户控制。例如，在一些实施例中，可以用相似的方式给用户提供规则组修改、测试功能选择和/或顺序控制，由此用户可从规则组移出规则或向规则组增加规则。
图6是定义和管理测试策略的UI的框图。测试策略是用于设计可测试实体的测试计划的可能机制的例子，并且包括一套测试功能定义和处理规则。当已经定义了测试策略实体类型要被测试时，共同的测试策略可被定义并且以后被参考。一般说来，策略与实体类型相关，这约束了可应用于策略的测试功能。
应理解，本发明决不受限于图6所示的特定UI170，或随后的图中所示的其它UI。不同的布局、信息、和/或功能可被显示给用户，以促进通信系统的测试功能的配置和管理。也应理解，通过图形的用户接口之外的其它类型的接口，如XML(扩展标记语言)配置、OSSI、等等，可实现这些任务。
由策略创建者单独定义，或者使用测试功能模板定义策略的测试功能，其包括与诸如MAC-ping的测试功能有关的特定类型的信息。在策略配置过程中可定义模板中任何未定义的参数。
处理规则可以指定这样的测试功能控制参数，如测试功能执行的顺序、将怎样处理测试功能结果，和/或怎样呈现结果。更复杂的处理规则能指定如上所述的那些顺序条件和动作。这些规则，如测试功能，可以基于预定义模板，以简化用于测试策略的规则的配置。
一旦选择了管理系统中的创建策略、编辑策略、删除策略、或者其它相关策略功能，图6中所示的UI170就可以被显示给用户。例如，用户可以从现有的测试策略列表选择策略来编辑。
如所示，UI170呈现概要的策略信息。用户可通过选择标记172、174、176，在策略的概要信息、规则信息、和绑定实体信息之间切换。处理规则标记174将导致显示策略的处理规则，而绑定实体标记176将显示每个可测试实体的指示，策略已经与所述可测试实体相关。可基于实体已绑定的策略，生成可测试实体的测试功能。也可通过标记174、176提供功能，以为测试策略修改这套规则和/或绑定实体。
概要策略信息包括策略名称178。当最初配置策略时，可以输入策略名称178，和/或，当编辑策略时，可以修改策略名称178。但是，策略标识符180更优选是自动分配的唯一的标识符。
测试策略的描述可在182处输入，例如提供策略目的的概括。
当为特定测试实体调用策略创建功能时，例如通过选择通信系统表示中的实体或者选择UI中的创造策略或者类似功能，实体类型184可被自动地填充，其中所述UI呈现了与该实体有关的信息。否则，例如，实体类型184可以由用户输入或者从下拉菜单中选择。实体类型184的有效值包括指示可测试实体的任何值。回头参考图2，实体类型184可包括特定服务类型(VLL、VPLS、IES、MPLS/BGP VPN、VLAN)、服务传输绑定类型(电路)、服务传输类型(隧道)、传输类型(LSP、LDP、RSVP、GRE)、路由网络类型(IP单播、IP多播)、或者L1/L2类型(ATM、帧中继、POS、以太网)。
根据在178、180、182、184处示出的概要信息，用户将了解目前显示的策略的名称为“VPLS Policy#3”，具有50的ID，并且已被针对VPLS服务实体类型被定义。
在186、188处显示策略的特定测试功能信息。186处的标题允许用户确定将在188处显示每个测试功能的哪些参数。188处的测试功能的列表包括来自多个测试功能组的测试功能。在图2的测试功能组结构范例中，MAC-ping和LSP-ping功能属于不同的测试功能组60、90，但是在UI170中同时显示给用户。
在188处，根据通信系统中的实体类型184和这些实体的操作相关性，自动地选择和显示一套测试功能。
UI170还包括功能性的可视单元，它用于调动测试功能的各种动作和/或作为整体的测试策略。例如，考虑到测试功能，单元192允许用户向测试策略增加新测试功能。通过手动地或者从模板中创建新测试功能，或者通过从应用于实体类型184的测试功能的列表中选择，可以将测试功能增加到策略。单元194允许用户在测试策略中编辑测试功能。例如，通过选择测试功能并且然后选择单元196，可以将测试功能从测试策略中移出。在例子UI170中，通过在列表188中分别使用元件198、199向上或向下移动测试功能，可以改变要被执行的测试功能的顺序。
通过选择单元192、194、196、198、199实现的任务不必互相排斥。例如，测试功能可以通过编辑测试功能临时从策略中移出，来改变标记和其它参数。在此情况下，虽然在不同的持续时间中(即，永久地或临时地)，使用编辑或者移出单元194、196，测试功能被有效地从测试策略中移出。
“更新测试组合”单元202使用测试策略使得测试组合被生成，所述测试组合是用于特定可测试实体的测试功能的集合。对于绑定到策略的任何或者所有的实体，单元202的选择可使得各测试组合被生成。测试组合的生成可以涉及这样的操作，如确定要被测试的特定的实体和测试功能源和目的。
复位单元204的选择至少复位在UI170中用户输入的信息。通过选择单元206调用的“OK”功能接受用户输入并且可以关闭UI170，然而通过选择单元209调用的应用功能接受用户输入而不关闭UI170。通过选择单元208调用的取消功能忽略当前由用户输入或改变的任何信息，并且还可以关闭UI170。
UI170涉及用于特定类型的测试实体的测试策略，在图2的VPLS实体和测试功能组结构的例子中，其对应于测试功能组的子组。在测试组合生成期间，用被识别的等级处每个实体类型的合适测试功能，也可以或替代地在每个等级的基础上定义策略。“应用”类型测试策略可包括所有应用实体类型的测试功能，并且当测试组合针对那个实体生成时，可以选择特定应用实体的合适测试功能。
图7是测试组合UI范例的框图。测试组合允许来自使用单个进度表的各种测试功能组的多个测试功能的指定。在容易可视化的相同的图表上显示不同结构等级上不同测试功能的结果。
例如，基于从一般的通信系统管理屏幕或如配置形式的屏幕中选择的测试组合管理功能，向用户显示UI210，其中，所述配置形式与通信系统中的可测试实体相关。
测试组合的概要信息通过概要标记212是可访问的，并且在UI210中示出。测试组合的概要信息包括：用户定义的测试组合名称222；描述224；测试策略的名称和ID226、228，其中如果可应用的话，从所述测试策略中创建了测试组合；实体的名称和ID230、232，其中所述测试组合中的测试功能将针对所述实体而被执行。
并不是所有的测试组合必须从测试策略中生成。测试组合也可以或替代地由用户手动配置，或者通过确定要被测试的实体和那个实体的可应用的测试功能自动地配置。测试功能是一个但不是唯一的机制，通过该机制实体可被与测试功能组和测试功能相关。例如，显示实体类型的信息可与测试功能定义和实体数据记录一起被存储，因而允许测试功能与实体相关。
如果测试策略被用于生成测试组合，则可以通过选择UI210的查看单元查看实体的详情和测试策略。
执行单元236的选择导致在通信系统中执行测试组合。如果这尚未通过上面图6描述的测试策略UI进行，基于要被执行的实体测试功能定义和参数，单元238生成要被执行的实际测试功能。如果当前测试组合正在执行，停止单元240停止它的执行。
上面参考UI170的单元206、208、209(图6)，描述了单元242、244、246支持的任务。但是，在图7的UI210中，将对测试组合执行这些任务。
进度表标记214用于查看和配置测试组合的进度表。测试组合进度表可以包括顺序信息和/或时间信息。上面已描述了测试功能顺序。测试组合时间信息可包括一个或多个测试组合要被执行日期和时间。也可指定测试组合中两个连续测试功能之间的和/或测试组合的重复执行间的时间间隔。也可以或者替代地提供选择测试计数(测试组合被重复的次数)和/或测试组合执行的持续时间(即测试计数＝(整数)持续时间/间隔)的选项。
可以通过测试标记216访问测试组合的测试功能列表。在一些实施例中，列表类似于在188示出的列表(图6)，并且提供如图6所示的类似的与测试功能有关的任务。
结果标记218允许用户查看测试组合的测试功能的结果，并且可能地测试组合的总的结果。例如，基于测试组合的所有测试功能的最后执行，测试组合的总状态可指示测试组合的状态，例如“成功”或“失败”。成功的状态可以指示测试组合的每个测试功能的正常结果，然而，失败的状态可以指示测试组合的一个或多个测试功能未返回到正常的结果。例如，基于响应信号是否被从所有的目的地收到、响应信号的定时，等等，可确定Ping测试的成功或失败。成功/失败标准对于不同的测试功能是不同的，并且一般取决于测试功能类型。
诸如阈值的用户可配置标准也可以或替代地确定测试功能和/或测试组合的失败和成功。例如，用户可以指定比配置值大的抖动应该被认为是测试功能失败。测试组合的阈值可以类似地配置，其中，用户希望指定多少测试功能，如果有的话，可以失败而不宣称测试组合的失败。此类测试组合阈值可以被指定为测试组合中的测试功能的数目或者测试功能数目的一些部分或百分比。
每个测试功能结果也可通过结果标记218获得。
图8是例子UI的框图，其中显示了实体的测试组合。UI250包括为针对特定测试实体配置的测试组合的列表268。通过选择单元272、274、276、278，可以创建、编辑、移出、或者执行测试组合。在测试组合标记260下示出每个测试组合的策略名称、状态、和结果信息。
实体的其它信息也可以通过标记252、254、256、258、264访问。尽管通过这些标记可访问的信息可能不直接直接涉及本发明的与测试功能有关的方面，但这些其它标记说明信息的类型，所述信息存储在数据库中，并且被管理系统中的各种元件访问、呈现给用户、由用户指定、和/或由用户修改。
图9是测试功能数据结构的框图。例如，数据结构291包括：测试功能标识符293，例如测试功能类型标识符和/或用在管理系统中的唯一的标识符；信息295，其标识了已分配了测试功能的测试功能组；和其它信息297，可以包括识别测试功能可应用于的实体类型。
数据结构291表示关于测试功能的信息存储在存储器中的方式的示例性例子。本发明的实施例中实施的数据结构可以包括比明确示出的那些数据结构更进一步的，更少的或不同的信息字段。例如，测试功能的定义或指针，或到定义的其它连接也可以与具有图9示出的概要格式的数据记录一起存储。当测试功能针对特定可测试实体被配置时，与该实体相关的信息和/或其它配置信息也可以与测试功能有关的信息一起存储于单个数据结构或不同数据结构中。
一般地，就测试功能所属的测试功能组提供一些指示。在诸如291测试功能数据记录中，该信息可采用组标识符的形式。例如，组分配也可以或可替换地在测试功能组结构的表示中，以图2示出的表格的格式来指示。在这种情况下，测试组的测试功能在表或其它数据结构的合适部分中被标识。
本发明方面的一个可能应用是测试组分通信服务，该组分通信服务已经被配置来一起操作以提供组合通信服务。在提供组合通信服务中涉及的实体数、不同类型的可能性和从而的不同测试类型数和不同通信设备类型的测试能力的不同，使得测试功能提供了极具挑战性并耗时的任务。可应用这里公开的技术简化组合通信服务的测试，例如在应当定期地地检验通信系统和/或各种通道的服务质量中的各个点的连通性时。能结合在组合通信服务中涉及的实体的多个测试功能/组合以在一个进度表下运行。下面进一步详细描述本发明的组合通信服务测试方面。
图10是示出了在提供组合通信服务中涉及的组分通信服务的框图。在图10中，通过使用不同技术的多个组分通信服务提供组合通信服务300，这些技术包括MPLS/BGP VPN服务302，VPLS 304、306、308，IES(互联网增强服务)310，H-VPLS(分层VPLS)312、314、316、318、320和VLAN服务322、324、326、328。在图10还示出了服务连接器301、303、305、307、309、311、313、315、317、319、321、323、325、327、329，它们表示通信服务间的可操作连接。其它组合通信服务可以包括比示出的那些更少、更多或不同的组分通信服务。
组分通信服务，这里也称为通信服务或组分通信服务，可以被配置以提供组合通信服务。在一些实施例中，配置组分通信服务与其它组分通信服务一起操作来提供组合通信服务。组分通信服务的示例性例子包括图10示出的、本领与技术人员熟悉的服务。
图10中的框提供组合通信服务的服务等级的视图，这与图1的设备和服务等级相结合的视图相对。就实施而言，例如VPLS可由一个或多个相互可操作耦合的VPLS服务站点组成。例如，服务站点表示网络单元中的服务对象，如MPLS/BGP VPN的VLL(虚拟租用线路)服务站点或VRF(虚拟路由和转发)服务站点，或VLAN对象。服务可包括多个服务站点。VPLS服务的VLL服务站点或VPLS服务站点能够可操作地耦合或“连接”到另一个VPLS服务的一个或多个服务站点。
本领域技术人员熟悉图10示出的MPLS/BGP VPN，VPLS，H-VPLS和VLAN服务。
例如，考虑到视频/TV广播应用，MPLS/BGP VPN 302可以使用PIM(不依赖协议的多播)和IGMP来分发TV信道给各种城域以太网，如图10所示的VPLS 304、306、308。使用H-VPLS 312、314、316、318、320来进一步将业务量广播到每个城市不同的地区。可以在最后一英里使用低成本L2交换机或DSLAM来实现不同环形组或不同DSLAM中的VLAN服务322、324、326、328，以将TV的内容传递到组合TV服务用户。
组合通信服务300中的组分通信服务使用服务连接器可操作地互相耦合，所述服务连接器如图10的307、309、313、315、317、319、321、323、325、327、329所表示。图10中示出的每个服务连接器表示两个组分通信服务的逻辑链接。
可采用不同类型的服务连接器可操作地将服务耦合在一起来提供组合TV服务。例如，可在VLAN服务322、324、326、328和H-VPLS 314之间，并且也可以在MPLS/BGP VPN服务302和VPLS 304、306、308之间，使用接口至接口的服务连接器。可以使用PW连接器对“卫星”H-VPLS312、314、316、318、320和VPLS304、308进行互连。在具有位于相同通信设备中的服务站点的服务之间，例如VPLS308和IES310，可使用另一种服务连接器，这里被称为交叉连接。
根据上述说明这将是很明显的，组合通信服务基本上是一组通信系统支持的通信服务，这些服务中一些被配置为一起操作。一些实施例中使用服务连接器将通信服务配置为一起操作，来提供组合通信服务。
例如，图10表示的组合通信服务300涉及MPLS/BGP VPN、VPLS、H-VPLS和VLAN技术和这些技术间的互连。使用常规管理系统管理这些互连是困难的，因为网络操作者或其它管理人员不容易识别通信服务之间的关系。管理系统可提供组合通信服务的表示，其中清楚指示了通信服务、组合通信服务和配置为组合通信服务一部分的任何其它通信服务之间的关系。
如上所述，虽然通信系统中的设备支持组合通信服务和它的组分通信服务，但是除了用于管理通信系统的设备和服务的管理系统之外，对通信系统来说组合通信服务本身的概念是未知的。因此，管理组合通信服务的能力不会被通信系统中的变化所干扰。例如，可以针对组合通信服务创建、删除、修改和/或显示来建立规则。例如，这些规则可以在管理系统上实施，来阻止添加不合适的服务连接或警告服务管理人员在领域内对通信系统进行的变化，并影响组合通信服务。在后一种情况下，管理人员可采取适当的动作来修改受影响的通信服务的组分通信服务和/或连接器。例如，不合适的连接器可以反映组分通信服务的不正确配置，可以通过改变组分通信服务如何配置来互相操作以补救这种不正确配置。
尽管管理组合通信服务具有挑战性，在很多情况中，在受管理的通信网络或通信系统的一部分的范围内或超出该范围，配置多个通信服务来提供组合通信服务是期望的。组分通信服务属于相似或不同的类型。
例如，在不同的桥接网络上的多个VLAN服务可连接到H-VPLS。通过使用管理系统创建SCP(服务连接点)到SCP服务的连接器，能够将VLAN服务和H-VPLS配置为相互操作。SCP到SCP服务连接器是根据本发明的实施例的服务连接器的一种类型，它可用来配置组分通信服务以提供组合通信服务。SCP到SCP服务连接器还可以用来配置除了VLAN和H-VPLS之外的其它类型的通信服务，如图10所示的连接VPLS到MPLS/BGP VPN服务，反之亦然。
SCP到SCP服务连接器指定两个SCP间的逻辑链路。SCP是一个服务接口，通过该接口在服务的服务提供商“侧”可访问通信服务，这与通过SAP可访问该服务的用户或客户侧相反。例如，关于物理通信系统，SCP到SCP逻辑链路可以运行在诸如以太网光缆的光缆上或使用FR(帧中继)或ATM(异步传输模式)的网络上。
如另一个例子，期望提供具有高速互联网访问的专用数据服务。例如，可以通过桥接多个L2服务站点经由VPLS来提供这样的专用数据服务，所述L2服务站点提供数据服务。这可通过上述SCP到SCP服务连接器或通过其它类型的服务连接器来实现，其它服务连接器包括：在同一个通信设备上支持提供组合专用数据服务的服务的情况下的PW轮辐式连接器(spoke connector)，以及可配置的交叉连接器。
通信系统中的PW轮辐式连接器可以用于创建H-VPLS服务或连接IES和VPLS。在一个实施例中，通过逻辑绑定通信服务到通信路径来建立PW轮辐。在绑定中的业务量例如从服务到通信通道是不定向的情况下，在每个端点服务站点上创建绑定来支持服务间的双向通信。
在一些情况下，在相同的一个设备上支持多个通信服务。例如，单个服务路由器可以结合多个SAP。例如，可以通过本地光缆连接或可配置的连接设备进行这样的服务间的物理连接。然而，在部署通信设备后一般在通信设备端口/接口间安装光缆，在要建立SAP间连接时，例如在设备底板上预安装可配置的连接装置，且随后例如从远端位置的管理系统进行配置，以连接设备端口/接口。
期望的是，在将通信服务配置为一起操作以提供组合通信服务之前，通信系统中的通信设备间的物理连接将被安装或已在适当的位置，其中通过所述物理连接建立通信服务间的逻辑连接。如果必要，可以安装新的物理连接来支持服务间的配合操作。一旦已建立或配置了任何需要的物理连接，例如在可配置的连接设备的情况下，则可以进行组合通信服务的配置。
作为相同过程的一部分，可以独立或有效地执行通信服务的配置和服务连接器的配置。例如，管理系统可以提供多个用于管理通信服务的接口。例如，相同的通信设备和服务可以通过CLI(命令线路接口)、OSSI和GUI控制。可以通过输入组合通信服务的名称，并配置服务连接器来创建组分通信服务间的逻辑联系或关系，以建立组合通信服务，其中所述名称指定了与组合通信服务相关的组分通信服务。接着，可以诸如通过CLI、OSSI或GUI，手动地，或者由管理系统自动地执行用以实现服务连接器中指定的逻辑联系的通信系统的实际配置。一般可优选后一种方法，因为作为单个实体全部组合通信服务是可管理的。那么避免了配置每个组分通信服务的单独任务。
无论手动或自动的配置方法，据此组合服务可作为单个实体被管理。
在一个实施例中，通信系统中组合通信服务的实际配置涉及使得通信隧道的端点的设备交换以设置不定向服务的控制信号到相对方向上绑定的隧道，以便经由该隧道实现服务间的双向通信。
因此，虽然通信系统本身可能不“知道”组合通信服务的概念，通过组合通信服务的组分通信服务和/或服务连接器对该组合通信服务的管理可影响网络中设备和服务的配置。
以相似的方式，可以在管理系统初自动检测和反映影响组合通信服务的通信系统配置。例如，可以在组合通信服务管理GUI中检测和管理一起操作的两个通信服务的配置。
组合通信服务的进一步详细叙述公开在以上参考的有关专利申请中。
就测试组合通信服务而言，在通信系统中提供的组合通信服务也可以是可测试的实体。
例如，对于组合通信服务，通过访问存储在存储器中的组合通信服务数据结构来识别每个组分通信服务。接着，根据组分通信服务的操作相关性，可能地，从多个测试功能组和/或子组中选择每个组分通信服务的测试功能。例如，通信系统的其它实体可涉及相似的操作，识别与要测试的实体具有操作相关性的实体。
选择测试功能要被执行的顺序可以基于：组分通信服务间的一个或多个关系、组分通信服务和通信系统的其它实体间的操作相关性，以及指定了测试功能顺序的用户输入。
图11-13是数据结构的简图，在所述数据结构中存储分别表示组合通信服务、服务连接器和组分通信服务的信息。例如，这些数据结构存储在系统150中的存储器158(图4)，必要时进行更新以保持管理系统记录准确和最新。
如上对其它图所述，仅仅为了示例的目的，图11-13显示了数据结构的例子。
组合通信服务数据结构340包括：信息342，诸如名称和/或ID，其标识组合通信服务；信息344、346，分别标识组合通信服务的n个组分通信服务，诸如组合通信服务名称和/或ID；以及与组合通信服务有关的其它信息348，例如，任何或全部描述、总操作状态、组合通信服务数量和连接器数量。因此，当要测试组合通信服务时，通过访问字段344、346中的信息来确定组合通信服务的组分通信服务。
服务连接器数据结构350包括：信息352，诸如标识服务连接器的名称和/或ID；信息353，指示了服务连接器类型，例子在上面已作了描述；信息354，诸如标识了服务连接器所属的组合通信服务的名称和/或ID；信息356、358，诸如标识了服务连接器连接的m个端点的名称、ID、服务站点和/或接口；和其它服务连接器信息359，诸如服务连接器的状态。虽然期望服务连接器将连接两个通信服务，服务连接器概念的一个设想的变化可以定义多于两个服务之间的互连。
对于服务连接器连接的每个通信服务，在356、358提供的端点信息可包括标识通信服务、通信服务的特定服务站点的信息以及连接信息。例如，连接两个服务，服务1和2的服务连接器可以在字段356、358中分别包括数据(服务ID1、服务站点ID1、SCP/绑定ID/连接装置ID1)和(服务ID2、服务站点ID2、SCP/绑定ID/连接装置ID2)。
例如，在只需要测试组合通信服务的一部分的情况下，服务连接器数据结构350对于要测试哪个组分通信服务也是有利的。可以通过数据结构表示的服务连接器检测组分服务间的互连，该数据结构具有图12所示的格式。
组分通信服务在数据结构360中通过以下标识符指定：服务标识符362，该服务标识符是诸如名称和/或ID的信息，其标识了通信服务；组合通信服务标识符364，包括标识服务所属的组合通信服务的信息；组合通信服务层366，指示了服务被分配的组合通信服务层或分层等级；以及其它信息368，如服务状态，根据对通信服务执行的测试功能可以确定该信息。
组合通信服务层366表示组合通信服务结构中的组分通信服务的等级，且不必是测试功能结构中的等级。比较图2和10，MPLS/BGP VPN和VPLS服务出现在图2的测试功能组结构40的服务等级，但是处于图10的组合通信服务300的不同等级。但是，应理解，通信系统结构或通信服务的测试功能等级可以用相似的方式表示，例如使用测试等级标识符或实体类型标识符。
存储在管理系统的数据记录可以包括图11-13示出的一个以上数据结构。管理系统数据库可以包括一个或多个体现数据结构340的组合通信服务数据记录、一个或多个体现数据结构350的服务连接器数据记录和一个或多个体现数据结构360的通信服务数据记录。
简言之，本发明的实施例可以在测试功能处理之前和之后阶段中实现更多的智能，来简化如通信系统测试和SLA管理的复杂任务。通过本发明的实施例，也可以处理关于确定服务性能问题的根本原因的问题。
在对各种组分建立特定测试功能的繁重任务中，这里公开的技术可以帮助操作者和其他人员。在测试功能组结构中，可用的测试能被分类为不同的组和等级。如果必要，可以首先执行较高等级的测试功能，随后是较低等级的测试功能。根据先前测试功能的结果，能够定义标准以命令策略或测试引擎，来运行下一个测试功能或测试功能组。能将相同或不同等级上的测试功能和一些实施例中的规则打包以形成测试策略。
本发明的实施例也可通过允许安排测试组合帮助服务提供商使得服务保证更加主动。例如可以运行MAC-ping来检验所有L2 SAP间的连通性，也检测服务的延迟和抖动参数是否在可接受的阈值内。如果满足当前等级的QoS目标，可以配置测试功能顺序，以使得较低测试等级的测试功能不要运行。例如，可以对于传输等级和/或其他等级实现相似的安排。
在执行时，可“实时(on the fly)”持续或创建从测试组合创建的测试功能。如从测试组合导出的一整组测试功能比系统操作者需要的更广泛，本发明的实施例可以为用户提供对将要执行的具体测试功能的控制。如上所述，测试组合可以用于产生用于要测试实体的所有可能的测试功能，且因而可永久或临时删除不必要或不需要的测试功能。在测试组合中的测试功能已被修改的情况下，当再次要测试同一个实体时，所期望的是，可以具有该测试功能存留持久，以避免必须移除该测试功能。另一个方面，实时测试创建可以帮助减少测试数据库的大小，并确保与要测试的实体相关的新添加的实体也被测试。
已描述的仅仅是说明了本发明的实施例原理的应用。在不偏离本发明的范围的情况下，本领域技术人员可以实现其它设备和方法。
例如，一些上述测试情形涉及从较高到较低等级穿越系统/测试组结构。本发明不以任何方式限制于这个或任何其它具体穿越顺序。
本发明的实施例还提供比这里所描述的更进一步的与组合通信服务相关的技术特征，包括在上述相关专利申请中公开的技术特征。
也应当理解，可以考虑以实现本发明实施例的方式的变化。例如，虽然本文中主要描述了方法和系统，这里公开的技术也可以或替代地作为指令来实现，所述指令存储在计算机可读介质中。

Claims (20)

1.一种系统，包括：
测试功能分类器，被配置为，将用于测试通信系统的实体的测试功能分配到多个测试功能组中的测试功能组；和
测试功能管理器，可操作地耦合到所述测试功能分类器，并且被配置为：基于通信系统的实体与所述通信系统的其它实体之间的操作相关性，如果有的话，将所述实体与用于测试所述其它实体的测试功能组相关联。
2.根据权利要求1的系统，其中所述实体包括下列中的一个或多个：所述通信系统中被支持的通信服务、所述通信系统中使用的通信协议栈的层和包含所述通信系统的设备。
3.根据权利要求1的系统，其中所述测试功能管理器被进一步配置为，从与要被测试的实体相关的每个测试功能组中选择在所述通信系统中要被执行的测试功能。
4.根据权利要求1至3中任一项的系统，进一步包括：
通信系统接口，可操作地耦合到所述测试功能管理器，用于将信息传输到所述通信系统，
其中，所述测试功能管理器被进一步配置为，通过向所述通信系统传输信息以使得一个或多个测试功能在所述通信系统中执行。
5.根据权利要求3的系统，其中所述测试功能管理器被进一步配置为，确定在所述通信系统中执行每个选择的测试功能的顺序。
6.根据权利要求1至3中任一项的系统，进一步包括：
用于接收下列中一个或多个的接口：定义所述多个测试功能组中一个或多个测试功能组的输入；在所述通信系统中控制哪些测试功能要被执行的输入；控制在所述通信系统中将执行测试功能的顺序的输入；指定要被测试的实体的输入；以及，指定与要被测试的实体具有操作相关性的其它实体的输入，将针对所述要被测试的实体选择测试功能。
7.根据权利要求1至3中任一项的系统，其中所述多个测试功能组包括具有多个测试功能子组的测试功能组，所述测试功能子组包括测试各个不同类型的实体的测试功能。
8.根据权利要求7的系统，其中通过测试功能组的一个或多个子组中的测试功能测试的实体，比通过所述测试功能组的其它子组中的测试功能测试的实体，具有不同的操作相关性。
9.根据权利要求1至3中任一项的系统，其中：
所述测试功能管理器被进一步配置为，基于一个或多个所述实体和每个其它实体的测试能力，从每个分别与所述实体和每个其它实体相关的一个或多个测试功能组中，选择测试功能，所述其它实体与所述实体具有操作相关性。
10.一种方法，包括：
定义用于安排测试功能的多个测试功能组，所述测试功能用于测试通信系统的实体；并且
基于所述实体间的操作相关性的顺序，定义所述多个测试功能组的相对顺序。
11.根据权利要求10的方法，进一步包括：
将测试功能分配给所述多个测试组中的测试组，和
基于通信系统的实体和所述通信系统的其它实体之间的操作相关性，如果有的话，将所述实体与用于测试通信系统的所述其它实体的测试功能组相关联。
12.根据权利要求11的方法，进一步包括：
从与要被测试的实体相关的每个测试功能组中，选择将在所述通信系统中执行的测试功能。
13.根据权利要求12的方法，进一步包括：
确定将在所述通信系统中执行每个选择的测试功能的顺序。
14.根据权利要求13的方法，其中所述顺序包括顺序条件，所述顺序条件条件导致下列中的一个或多个：
在测试功能确认正常的实体操作的情况下，停止测试功能的所述顺序；
在当前测试功能显示实体操作中的错误的情况下，执行所述顺序中的下一个测试功能；以及
基于当前测试功能的结果，从多个测试功能中选择下一个测试功能。
15.根据权利要求11的方法，进一步包括：
基于一个或多个所述实体和每个其它实体的测试能力，从分别与所述实体和每个其它实体相关的一个或多个测试功能组的每一个中选择测试功能，其中所述每个其它实体与所述实体具有操作相关性。
16.根据权利要求15的方法，进一步包括：
基于以下的一个或者多个来确定所述通信系统中将要执行每个选择的测试功能的顺序：所述实体和每个其它实体之间的操作相关性，以及指定测试功能顺序的输入。
17.根据权利要求12的方法，进一步包括下列一个或多个：
分析一个或多个选择的测试功能的结果；以及
提供一个或多个选择的测试功能的结果的表示。
18.一种用于存储指令的计算机可读介质，当执行所述指令时执行权利要求10至17中任一项的方法。
19.一种用于存储数据结构的计算机可读介质，该数据结构包括：
标识用于测试通信系统的实体的测试功能的信息；和
指示多个测试功能组中的、已被分配所述测试功能的测试功能组的信息，所述多个测试功能组具有相对顺序，该顺序基于所述通信系统的所述实体和其它实体之间的操作相关性的顺序。
20.一种用户接口，包括：
各个可视单元，表示用于测试通信系统的实体的测试功能，所述功能包括分配给多个测试功能组的测试功能，每个测试功能组包括各自一套用于测试所述通信系统的实体的一个或多个测试功能，
其中由所述可视单元表示的所述测试功能包括用于测试所述通信系统中被操作相关性关联的实体的测试功能。
CNA2006101639323A 2005-10-04 2006-10-08 通信系统的分层测试系统和方法—与实体相关的自动测试选择 Pending CN1983996A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/243,196 2005-10-04
US11/243,196 US8411579B2 (en) 2005-10-04 2005-10-04 Communication system hierarchical testing systems and methods—entity dependent automatic selection of tests

Publications (1)

Publication Number Publication Date
CN1983996A true CN1983996A (zh) 2007-06-20

Family

ID=37901812

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006101639323A Pending CN1983996A (zh) 2005-10-04 2006-10-08 通信系统的分层测试系统和方法—与实体相关的自动测试选择

Country Status (3)

Country Link
US (1) US8411579B2 (zh)
EP (1) EP1783610A3 (zh)
CN (1) CN1983996A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102694698A (zh) * 2012-06-07 2012-09-26 浪潮电子信息产业股份有限公司 一种快速建立小型网络测试系统的方法
CN103180834A (zh) * 2010-09-09 2013-06-26 国际商业机器公司 自动操作系统测试框架
CN106201860A (zh) * 2015-05-07 2016-12-07 阿里巴巴集团控股有限公司 应用系统的测试方法及装置
CN106972951A (zh) * 2017-02-27 2017-07-21 杭州天宽科技有限公司 一种基于多个相关功能模块异常检测的自动维护实现方法

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4474207B2 (ja) * 2004-06-10 2010-06-02 富士通株式会社 ネットワーク管理システム、ネットワーク管理方法
US7590069B1 (en) * 2006-03-30 2009-09-15 Sprint Communications Company L.P. Testing an access link between a service provider and a customer
US20080159301A1 (en) * 2006-12-29 2008-07-03 De Heer Arjan Arie Enabling virtual private local area network services
TWI339964B (en) * 2007-07-31 2011-04-01 Ind Tech Res Inst Management architecture and diagnostic method for remote configuration of heterogeneous local networks
US8924543B2 (en) 2009-01-28 2014-12-30 Headwater Partners I Llc Service design center for device assisted services
US8391834B2 (en) 2009-01-28 2013-03-05 Headwater Partners I Llc Security techniques for device assisted services
US8589541B2 (en) 2009-01-28 2013-11-19 Headwater Partners I Llc Device-assisted services for protecting network capacity
US8406748B2 (en) 2009-01-28 2013-03-26 Headwater Partners I Llc Adaptive ambient services
US8635335B2 (en) 2009-01-28 2014-01-21 Headwater Partners I Llc System and method for wireless network offloading
US8402111B2 (en) 2009-01-28 2013-03-19 Headwater Partners I, Llc Device assisted services install
US8725123B2 (en) 2008-06-05 2014-05-13 Headwater Partners I Llc Communications device with secure data path processing agents
US20100192170A1 (en) 2009-01-28 2010-07-29 Gregory G. Raleigh Device assisted service profile management with user preference, adaptive policy, network neutrality, and user privacy
US8924469B2 (en) 2008-06-05 2014-12-30 Headwater Partners I Llc Enterprise access control and accounting allocation for access networks
US8898293B2 (en) 2009-01-28 2014-11-25 Headwater Partners I Llc Service offer set publishing to device agent with on-device service selection
US8548428B2 (en) 2009-01-28 2013-10-01 Headwater Partners I Llc Device group partitions and settlement platform
US8275830B2 (en) * 2009-01-28 2012-09-25 Headwater Partners I Llc Device assisted CDR creation, aggregation, mediation and billing
US8340634B2 (en) 2009-01-28 2012-12-25 Headwater Partners I, Llc Enhanced roaming services and converged carrier networks with device assisted services and a proxy
US8626115B2 (en) 2009-01-28 2014-01-07 Headwater Partners I Llc Wireless network service interfaces
US8346225B2 (en) 2009-01-28 2013-01-01 Headwater Partners I, Llc Quality of service for device assisted services
US8832777B2 (en) 2009-03-02 2014-09-09 Headwater Partners I Llc Adapting network policies based on device service processor configuration
US20090319656A1 (en) * 2008-06-24 2009-12-24 Chen-Yui Yang Apparatus and method for managing a network
US8661116B2 (en) * 2008-12-15 2014-02-25 Verizon Patent And Licensing Inc. Network testing
US8351898B2 (en) 2009-01-28 2013-01-08 Headwater Partners I Llc Verifiable device assisted service usage billing with integrated accounting, mediation accounting, and multi-account
US9392462B2 (en) 2009-01-28 2016-07-12 Headwater Partners I Llc Mobile end-user device with agent limiting wireless data communication for specified background applications based on a stored policy
US9858559B2 (en) 2009-01-28 2018-01-02 Headwater Research Llc Network service plan design
US9557889B2 (en) 2009-01-28 2017-01-31 Headwater Partners I Llc Service plan design, user interfaces, application programming interfaces, and device management
US10783581B2 (en) 2009-01-28 2020-09-22 Headwater Research Llc Wireless end-user device providing ambient or sponsored services
US9578182B2 (en) 2009-01-28 2017-02-21 Headwater Partners I Llc Mobile device and service management
US9955332B2 (en) 2009-01-28 2018-04-24 Headwater Research Llc Method for child wireless device activation to subscriber account of a master wireless device
US9270559B2 (en) 2009-01-28 2016-02-23 Headwater Partners I Llc Service policy implementation for an end-user device having a control application or a proxy agent for routing an application traffic flow
US11985155B2 (en) 2009-01-28 2024-05-14 Headwater Research Llc Communications device with secure data path processing agents
US10841839B2 (en) 2009-01-28 2020-11-17 Headwater Research Llc Security, fraud detection, and fraud mitigation in device-assisted services systems
US10484858B2 (en) 2009-01-28 2019-11-19 Headwater Research Llc Enhanced roaming services and converged carrier networks with device assisted services and a proxy
US8745191B2 (en) 2009-01-28 2014-06-03 Headwater Partners I Llc System and method for providing user notifications
US10248996B2 (en) 2009-01-28 2019-04-02 Headwater Research Llc Method for operating a wireless end-user device mobile payment agent
US10264138B2 (en) 2009-01-28 2019-04-16 Headwater Research Llc Mobile device and service management
US9980146B2 (en) 2009-01-28 2018-05-22 Headwater Research Llc Communications device with secure data path processing agents
US10715342B2 (en) 2009-01-28 2020-07-14 Headwater Research Llc Managing service user discovery and service launch object placement on a device
US10057775B2 (en) 2009-01-28 2018-08-21 Headwater Research Llc Virtualized policy and charging system
US9572019B2 (en) 2009-01-28 2017-02-14 Headwater Partners LLC Service selection set published to device agent with on-device service selection
US10200541B2 (en) 2009-01-28 2019-02-05 Headwater Research Llc Wireless end-user device with divided user space/kernel space traffic policy system
US9954975B2 (en) 2009-01-28 2018-04-24 Headwater Research Llc Enhanced curfew and protection associated with a device group
US11973804B2 (en) 2009-01-28 2024-04-30 Headwater Research Llc Network service plan design
US9609510B2 (en) 2009-01-28 2017-03-28 Headwater Research Llc Automated credential porting for mobile devices
US10779177B2 (en) 2009-01-28 2020-09-15 Headwater Research Llc Device group partitions and settlement platform
US10798252B2 (en) 2009-01-28 2020-10-06 Headwater Research Llc System and method for providing user notifications
US9755842B2 (en) 2009-01-28 2017-09-05 Headwater Research Llc Managing service user discovery and service launch object placement on a device
US10326800B2 (en) 2009-01-28 2019-06-18 Headwater Research Llc Wireless network service interfaces
US8606911B2 (en) 2009-03-02 2013-12-10 Headwater Partners I Llc Flow tagging for service policy implementation
US8893009B2 (en) 2009-01-28 2014-11-18 Headwater Partners I Llc End user device that secures an association of application to service policy with an application certificate check
US9565707B2 (en) 2009-01-28 2017-02-07 Headwater Partners I Llc Wireless end-user device with wireless data attribution to multiple personas
US11218854B2 (en) 2009-01-28 2022-01-04 Headwater Research Llc Service plan design, user interfaces, application programming interfaces, and device management
US9647918B2 (en) 2009-01-28 2017-05-09 Headwater Research Llc Mobile device and method attributing media services network usage to requesting application
US10064055B2 (en) 2009-01-28 2018-08-28 Headwater Research Llc Security, fraud detection, and fraud mitigation in device-assisted services systems
US9351193B2 (en) 2009-01-28 2016-05-24 Headwater Partners I Llc Intermediate networking devices
US9253663B2 (en) 2009-01-28 2016-02-02 Headwater Partners I Llc Controlling mobile device communications on a roaming network based on device state
US9706061B2 (en) 2009-01-28 2017-07-11 Headwater Partners I Llc Service design center for device assisted services
US10237757B2 (en) 2009-01-28 2019-03-19 Headwater Research Llc System and method for wireless network offloading
US8793758B2 (en) 2009-01-28 2014-07-29 Headwater Partners I Llc Security, fraud detection, and fraud mitigation in device-assisted services systems
US10492102B2 (en) 2009-01-28 2019-11-26 Headwater Research Llc Intermediate networking devices
US8307050B2 (en) * 2010-03-05 2012-11-06 Ca, Inc. System and method for intelligent service assurance in network management
US9703671B1 (en) * 2010-08-22 2017-07-11 Panaya Ltd. Method and system for improving user friendliness of a manual test scenario
US9154826B2 (en) 2011-04-06 2015-10-06 Headwater Partners Ii Llc Distributing content and service launch objects to mobile devices
US9201773B1 (en) * 2011-05-08 2015-12-01 Panaya Ltd. Generating test scenario templates based on similarity of setup files
US9170809B1 (en) * 2011-05-08 2015-10-27 Panaya Ltd. Identifying transactions likely to be impacted by a configuration change
US9317404B1 (en) * 2011-05-08 2016-04-19 Panaya Ltd. Generating test scenario templates from test runs collected from different organizations
US9069904B1 (en) * 2011-05-08 2015-06-30 Panaya Ltd. Ranking runs of test scenarios based on number of different organizations executing a transaction
US9170925B1 (en) * 2011-05-08 2015-10-27 Panaya Ltd. Generating test scenario templates from subsets of test steps utilized by different organizations
US9092579B1 (en) * 2011-05-08 2015-07-28 Panaya Ltd. Rating popularity of clusters of runs of test scenarios based on number of different organizations
US9134961B1 (en) * 2011-05-08 2015-09-15 Panaya Ltd. Selecting a test based on connections between clusters of configuration changes and clusters of test scenario runs
US9201772B1 (en) * 2011-05-08 2015-12-01 Panaya Ltd. Sharing test scenarios among organizations while protecting proprietary data
US9201774B1 (en) * 2011-05-08 2015-12-01 Panaya Ltd. Generating test scenario templates from testing data of different organizations utilizing similar ERP modules
US9348735B1 (en) * 2011-05-08 2016-05-24 Panaya Ltd. Selecting transactions based on similarity of profiles of users belonging to different organizations
US9819546B2 (en) 2011-07-07 2017-11-14 Ciena Corporation Data connectivity systems and methods through packet-optical switches
US9148223B2 (en) * 2011-07-07 2015-09-29 Ciena Corporation Ethernet private local area network systems and methods
US9270983B1 (en) * 2012-06-18 2016-02-23 Arris Enterprises, Inc. Quickly diagnose service and component related issues on a cable modem, multimedia terminal adapter, or gateway
CN102821047B (zh) * 2012-07-30 2015-06-03 华为技术有限公司 网络中建立对应关系的方法、网络设备及系统
US9544207B2 (en) * 2013-06-21 2017-01-10 Microsoft Technology Licensing, Llc Using different connectivity checks to determine causes of connectivity issues
KR102122949B1 (ko) * 2014-01-24 2020-06-16 한국전자통신연구원 네트워크를 통해 연결된 세그먼트들을 관리하는 방법 및 장치
CN104852829A (zh) * 2015-05-26 2015-08-19 太仓市同维电子有限公司 一种同轴终端产品的隔离功能多机检测方法
US10200271B2 (en) * 2016-04-12 2019-02-05 International Business Machines Corporation Building and testing composite virtual services using debug automation
WO2020112204A1 (en) 2018-10-03 2020-06-04 Raytheon Company Serial data bus node identification system
CN109491919B (zh) * 2018-11-28 2021-10-26 中电科西北集团有限公司 一种软件测试方法及测试平台
CN112367223A (zh) * 2020-10-29 2021-02-12 中国第一汽车股份有限公司 一种网关控制器的以太网测试方法、装置、设备和介质
EP4092535B1 (de) * 2021-05-20 2024-04-03 Volkswagen Aktiengesellschaft Verfahren zum testen von steuergeräten
GB2610602A (en) * 2021-09-10 2023-03-15 Graphcore Ltd Network path testing via independent test traffic

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6282678B1 (en) 1999-01-08 2001-08-28 Cisco Technology, Inc. Generic test execution method and apparatus
US6745145B2 (en) * 2002-06-24 2004-06-01 Lsi Logic Corporation Methods and systems for enhanced automated system testing
US20040066747A1 (en) * 2002-10-02 2004-04-08 Ben Jorgensen Methods and structure for automated troubleshooting of a virtual private network connection
US20060101404A1 (en) * 2004-10-22 2006-05-11 Microsoft Corporation Automated system for tresting a web application
US7627312B2 (en) * 2005-02-03 2009-12-01 Satyam Computer Services Ltd. System and method for self-testing of mobile wireless devices
US8040819B2 (en) * 2005-08-30 2011-10-18 Cisco Technology, Inc. Discovery and identification of upstream device characteristics for self-configuration of customer premises equipment

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103180834A (zh) * 2010-09-09 2013-06-26 国际商业机器公司 自动操作系统测试框架
CN103180834B (zh) * 2010-09-09 2015-12-02 国际商业机器公司 自动操作系统测试框架
CN102694698A (zh) * 2012-06-07 2012-09-26 浪潮电子信息产业股份有限公司 一种快速建立小型网络测试系统的方法
CN102694698B (zh) * 2012-06-07 2016-09-07 浪潮电子信息产业股份有限公司 一种快速建立小型网络测试系统的方法
CN106201860A (zh) * 2015-05-07 2016-12-07 阿里巴巴集团控股有限公司 应用系统的测试方法及装置
CN106201860B (zh) * 2015-05-07 2019-03-29 阿里巴巴集团控股有限公司 应用系统的测试方法及装置
CN106972951A (zh) * 2017-02-27 2017-07-21 杭州天宽科技有限公司 一种基于多个相关功能模块异常检测的自动维护实现方法
CN106972951B (zh) * 2017-02-27 2019-11-08 杭州天宽科技有限公司 一种基于多个相关功能模块异常检测的自动维护实现方法

Also Published As

Publication number Publication date
US8411579B2 (en) 2013-04-02
EP1783610A2 (en) 2007-05-09
US20070076616A1 (en) 2007-04-05
EP1783610A3 (en) 2013-01-09

Similar Documents

Publication Publication Date Title
CN1983996A (zh) 通信系统的分层测试系统和方法—与实体相关的自动测试选择
CN1972217B (zh) 组合通信服务中分层通信服务的系统和方法
US8014283B2 (en) System and method for topology constrained QoS provisioning
EP1457007B1 (en) System for supply chain management of virtual private network services
CN101523812B (zh) 用于收集网络性能信息的系统和方法
CN101529811B (zh) 通过跟踪验证多段伪线的连通性的方法和系统
US20130305091A1 (en) Drag and drop network topology editor for generating network test configurations
US7532586B2 (en) Method of augmenting deployed networks
JP2000209201A (ja) ネットワ―ク管理方法及びネットワ―ク管理システム
CN100531157C (zh) 一种二层vpn和三层vpn互联互通的实现方法
US7715429B2 (en) Interconnect system for supply chain management of virtual private network services
US8238265B2 (en) Auto-binding SDP RSVP LSP tunnel
US20070078969A1 (en) Composite communication service management
Lewis et al. Selecting Mpls Vpn Services
Cisco Internetwork Management
Cisco Internetwork Management
Cisco Internetwork Management
US8775597B2 (en) Technique for management of communication networks
EP1825640B1 (en) Interconnect system for supply chain management of virtual private network services
CN101159582A (zh) 组合通信服务管理
Vacca High-speed Cisco networks: planning, design, and implementation
Chen et al. TOSS: Telecom Operations Support Systems for Broadband Services
Szewczyk et al. Deliverable D7. 1 (DS3. 3.1): MDVPN Service Architecture

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication