CN100558053C - 对协同通信系统的性能进行测量的方法 - Google Patents

Abstract

本发明提供了一种对协同通信系统的性能进行测量的方法，该方法主要包括：在协同通信系统中选定测试Peer(对等节点)；所述测试Peer之间发送测试消息，通过该测试消息对所述协同通信系统的性能进行测量。利用本发明所述方法，可以有效地测量协同通信系统在消息通信阶段的性能指标，方便业务运营商和业务客户能够明确自己提供的和享受的业务质量级别。

Description

对协同通信系统的性能进行测量的方法

技术领域

本发明涉及通讯领域，尤其涉及一种对协同通信系统的性能进行测量的方法。

背景技术

P2P(Peer to Peer，点到点)技术是一种分布式的网络计算技术，该技术同传统的C/S(客户端/服务器)架构的计算技术相反，它不需要或不完全依赖于中心化的服务器；各个Peer(对等节点)之间是对等的，各个Peer之间相互提供服务，各种资源可以共享。

目前，P2P技术得到了比较大的发展，正受到前所未有的关注，并且对传统的商业模型发起了挑战，引起了诸多的法律和社会方面的问题。比如，新型的网络语音运营商，该运营商采用P2P的技术在因特网部署话音服务，由于该话音服务物美价廉，对传统的话音运营商产生了极大的挑战；又比如，文件交换软件，该软件使得用户之间的文件交换非常的方便和快捷，引发了很多版权相关的法律问题。

实际上，P2P并不是一个全新的概念。在因特网诞生的时候或者通信发展的初期，许多通信应用都是基于P2P的方式来运行的。比如最初的FTP(文件传输协议)应用，该应用的用户很多既是FTP Client，也是FTPServer，对这样的用户而言，用户之间都是对等的，他们之间的运行模式是基于P2P的。

P2P技术发展了多年，对P2P的定义也有很多种版本。不过对于P2P技术又一种基本的共识：那就是P2P是一种分布式网络，网络的参与者共享他们所拥有的一部分硬件资源(处理能力、存储能力、网络连接能力、打印机等)和软件资源，这些共享资源需要由网络提供服务和内容，能被其它Peer直接访问而无需经过中间实体。因此网络中的参与者既是资源(服务和内容)提供者，又是资源(服务和内容)获取者。

根据P2P的定义和当前P2P的应用情况，P2P的应用有如下的基本特征：

1、去中心化和对等性，这是P2P应用技术的最典型的特征；P2P应用的客户实体不完全依赖于中心服务器，而是通过对等实体之间的直接通信来完成应用任务；

2、动态性和扩展性，P2P系统是一种自组织的系统，动态变化能力和扩展能力非常强；Peer的数目可以在很大的范围内进行调整；

3、P2P系统是由Peer用户共同持有，个体拥有成本较低；且容错能力较强。

根据P2P技术的当前的应用情况，我们还可以将P2P技术分为以下几类：

1、分布式计算，典型应用有SETI@home；

2、文件交换应用，典型应用有BitTorrent和emule等；

3、协同通信应用，包括即时消息、程序共享和网络游戏等；典型应用有Skype以及无数的网络游戏等；

4、P2P技术的开发平台，典型应用有.Net等。

在上述P2P或P2P-alike的技术分类中，协同通信应用是应用最广泛的一种，协同通信是分布式计算的一种应用，协同通信主要用来帮助通信双方或多方在任意条件下的信息同步传送。国内外协同通信应用相关的软件不计其数，服务也不断更新。从功能上分，协同和通信应用还可以分为即时消息、电子白板、文件传输、应用程序和桌面共享等，比较高级的协同通信应用软件还包含语音和视频等多媒体通信的功能。从运行模式来讲，协同通信应用可能分为P2P模式，在该模式下，协同通信消息不需要服务器的中转；或者P2P-alike模式，在该模式下，Peer之间不是直接通过INTERNET或IP分组网络相连接的，在它们之间可能存在一个或多个应用服务器，以帮助各Peer完成对会话的管理，会话消息的传送等，这种应用服务器称为协同通信服务器。对于不同的协同通信应用，比如IM，共享应用以及网络游戏等，都需要协同通信服务器进行管理，这些管理功能包括各个Peer的注册，Peer位置查找等。

协同通信系统的网络模型如图1所示。每一个协同通信Peer归属于某一个网络位置的协同通信服务器，协同通信Peer之间的通信通过协同通信服务器配合来完成。协同通信服务器主要用于协同通信服务会话的创建、消息报文的接收和转发。协同通信会话是指协同通信各Peer之间一次通信的逻辑表达形式，对于每一次协同通信会话，各个Peer或协同通信服务器(P2P-alike模式下的协同通信)都会为它创建一个管理对象，以方便对这次协同通信的用户、命令、消息进行管理。

在图1中，Peer1、Peer2以及Peer4之间创建了一个协同会话，在该会话中，Peer1、Peer2以及Peer4之间任何个体的消息都能够被其它个体接收到；在图1中，Peer2、Peer3以及Peer4之间还创建了另外一个会话，在该会话中，Peer3的消息能够被Peer2和Peer4接收到，Peer2和Peer4之间不能相互通信。

在实际应用中，协同通信系统可能还包含身份验证服务和定位服务等功能。有些简单的协同通信系统可能不需要协同通信服务器来完成工作。

根据当前的协同通信系统的功能组成，可以将协同通信系统的处理流程分为如下4个阶段：

1、用户登陆阶段：该阶段主要完成用户的登陆认证、位置注册、用户友好列表的获取；

2、呼叫阶段：该阶段主要包括呼叫请求处理和呼叫应答处理，以及协同通信服务器对协同通信对象的创建等；

3、协同信息通信阶段：该阶段主要完成即时消息、程序共享、游戏命令消息等数据的发送；

4、连接释放阶段：该阶段主要完成释放协同通信相关的资源。

对于一些简单的协同通信系统，可能不存在上述呼叫处理和连接释放阶段。

对于上述协同通信系统的各个阶段，可以定义如表1所示的性能参数。

表1：协同通信系统的性能参数

	Speed	Accuracy	Availability
				登陆阶段	登陆延时	-	登陆成功率
呼叫建立阶段	呼叫延时	-	呼叫成功率
				消息通信阶段	消息传输延时消息传输平均延时消息传输延时抖动带宽占用率	消息序列错位度	消息丢失率掉线率
连接释放阶段	连接释放延时	-	-

上述表1所示的性能参数的详细定义为：

消息序列错位度：不同的发送方依照一定时间序列发送的消息不能依照正确的时间顺序到达不同接收方的比率；

消息传输延时：消息从发送Peer到达不同的接收Peer的延时最大值；消息传输平均延时：协同通信系统中各个Peer的消息传输延时的平均值；

消息传输延时抖动：传输延时上限与传输延时下限的差值，称为消息传输延时抖动；消息传输延时抖动还可以用传输延时上限或传输延时下限与消息传输平均延时之差来表示。

带宽占用率：主要是指各Peer上下行带宽的占用率，即上下行带宽与各Peer出接口带宽的比值；

消息丢失率：指从源Peer发出的消息不能到达所有目的Peer的比率；

掉线率：指已经建立呼叫连接的Peer非正常断开连接的比率。

在现有技术中，还没有对上述协同通信系统的性能参数进行测量和评估的特定的方法，只有对端到端的网络性能进行测量和评估的方法，比如，ITU-T Y.1540和Y.1030规定的端对端的测量方法。ITU-T Y.1540和Y.1030规定的测量方法主要对端对端的网络性能进行评估。评估的参数主要有：端对端的延时、抖动、分组错误率和分组丢失率等。

上述对端到端的网络性能进行测量和评估的方法的缺点为：该测量方案获得的测量参数只能反映端对端的网络性能，不能从整体上评估协同通信系统业务的性能指标，不能直接对协同通信系统用户感知的业务质量提供参考。

发明内容

鉴于上述现有技术所存在的问题，本发明的目的是提供一种对协同通信系统的性能进行测量的方法，从而可以有效地测量协同通信系统在消息通信阶段的性能指标。

本发明的目的是通过以下技术方案实现的：

一种对协同通信系统的性能进行测量的方法，包括步骤：

A、在协同通信系统中选定测试对等节点Peer；

B、所述测试Peer通过协同通信服务器转发或直接向其它测试Peer发送测试执行消息，并记录该测试执行消息的发送个数和发送时间；

根据所述其它测试Peer接收到所述测试执行消息的接收个数和接收时间，以及所述测试Peer记录的发送个数和发送时间，对所述协同通信系统的性能进行测量，所述性能包括：消息传输延时、消息传输平均延时、消息传输延时抖动、消息序列错位度、测试Peer消息的丢失率和系统的消息丢失率中的至少一项。

所述的步骤A还包括：

在协同通信系统中选定包含测试Peer的测试群，创建包含选定的测试群中的各个测试Peer的协同会话。

所述的步骤A还包括：

对所述测试群中的各个测试Peer的时钟进行同步；所述协同通信系统中的协同通信服务器通过所述协同会话向所述各个测试Peer发送携带测试开始时间、测试消息数目和测试中止时间信息的测试请求消息。

所述的步骤B还包括：

当测试中止时间到，各个测试Peer将向协同通信服务器发送其带有发送时间戳、源及目的测试Peer标识的发送消息序列和带有发送和接收时间戳、源及目的测试Peer标识的接收消息序列。

所述的步骤B还包括：

所述协同通信系统的各个测试Peer之间的消息传输延时的计算方法为：

iDELAY_AB＝iDELAY_B-iDELAY_A

其中，iDELAY_AB表示第i个从测试PeerA到测试PeerB的测试执行消息的消息传输延时，iDELAY_A表示测试PeerA向测试PeerB发出的第i个测试执行消息的发送时间，iDELAY_B表示测试PeerB收到的测试PeerA发出的第i个测试执行消息的接收时间。

所述的步骤B还包括：

所述协同通信系统的消息传输平均延时的计算方法为：

$\stackrel{\‾}{\mathrm{DELAY}}=\frac{\mathrm{\ΣiDELA}{Y}_{\mathrm{xy}}}{\mathrm{\Σ}{m}_{\mathrm{xy}}}$ x，y∈{A，B，C，D}，x≠y

其中，iDELAY_xy表示第i个从测试PeerX到测试PeerY的测试执行消息的消息传输延时，m_xy为测试PeerY收到的测试PeerX发出的测试执行消息的个数，{A，B，C，D}为测试Peer集合。

所述的步骤B还包括：

所述协同通信系统的消息传输延时抖动的计算方法为：

Var＝MAX(iDELAY_xy)-MIN(iDELAY_xy)x，y∈{A，B，C，D}，x≠y。

所述的步骤B还包括：设R为测试PeerA收到的测试PeerB/C/D发送的测试执行消息的接收序列，r_i为测试PeerA收到的测试PeerB/C/D发送的第i个测试执行消息的序列号，所述各个测试Peer的消息序列错位度的计算方法为：

${\mathrm{DISORDER}}_A=\sqrt{\frac{\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{(r_i-i)}^2+\underset{i=l+1}{\overset{n}{\mathrm{\Σ}}}{n}^2}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{n}^2}}$ DISORDER_A∈{0，1}

其中，n＝m_B+m_C+m_D，l＝m_BA+m_CA+m_DA，m_B、m_C、m_D为测试PeerB/C/D分别向测试PeerA发送的测试执行消息的个数，m_BA、m_CA和m_DA为测试PeerA收到的测试PeerB/C/D发送的测试执行消息的个数。

当DISORDER_A＝0时，测试PeerA收到的测试PeerB/C/D发送的测试执行消息的理想接收序列为：

R＝{1，2，3，...，m_B+m_C+m_D}；

当DISORDER_A＞0时，测试PeerA的实际接收序列为：

$R=\{r_1,r_2,r_3,...,r_{m_{\mathrm{BA}}+m_{\mathrm{CA}}+m_{\mathrm{DA}}}\}$ m_BA≤m_B，m_CA≤m_C，m_DA≤m_D。

所述的步骤B还包括：

所述各个测试Peer的消息丢失率的计算方法为：

${\mathrm{LOSS}}_A=\frac{m_A-m_A\∩m_{\mathrm{AB}}\∩m_{\mathrm{AC}}\∩m_{\mathrm{AD}}}{m_A}$

其中，m_A为测试PeerA发送的测试执行消息的个数，m_AB、m_AC和m_AD为测试PeerB/C/D接收的测试PeerA发送的测试执行消息的个数。

所述的步骤B还包括：

所述整个协同通信系统的消息丢失率的计算方法为：

$\mathrm{LOSS}=\frac{{\mathrm{LOSS}}_A*m_A+{\mathrm{LOSS}}_B*m_B+{\mathrm{LOSS}}_C*m_C+{\mathrm{LOSS}}_D*m_D}{m_A+m_B+m_C+m_D}.$

由上述本发明提供的技术方案可以看出，本发明通过在协同通信系统中选定测试Peer，各个测试Peer之间发送测试执行消息，从而可以通过一些简单的方法，依据协同通信系统的特征，有效地测量协同通信系统在消息通信阶段的性能指标。本发明可以直接对协同通信系统用户感知的业务质量提供参考，方便业务运营商和业务客户能够明确自己提供的和享受的业务质量级别。

附图说明

图1为协同通信系统的网络模型示意图；

图2为本发明所述方法的实施例的测试模型示意图；

图3为本发明所述方法的实施例的具体处理流程图；

图4为本发明所述测试请求消息、测试执行消息和测试报告的传递过程示意图。

具体实施方式

本发明提供了一种对协同通信系统的性能进行测量的方法，本发明的核心为：在协同通信系统中选定测试Peer，各个测试Peer之间发送测试消息，通过该测试消息对所述协同通信系统的性能进行测量。

下面结合附图来详细描述本发明所述方法，本发明所述方法的实施例的测试模型如图2所示，根据该测试模型，本发明所述方法的实施例的具体处理流程如图3所示，包括如下步骤：

步骤3-1、在协同通信系统中选定测试群，并创建测试会话，协同通信服务器向各个测试Peer发送测试请求消息。

本发明首先需要在被测协同通信系统中选定测试群，该测试群包含各个测试Peer，并且创建一个包含选定的测试群中的各个测试Peer的协同会话。然后，协同通信服务器通过该协同会话向上述各个测试Peer发送测试请求消息，该测试请求消息是TCP消息，消息中携带测试开始时间、测试消息数目和测试中止时间等信息。

在实际应用中，可以根据测试需要，向上述各个测试Peer发送多个测试请求消息。本发明还需要对选定的测试群中的各个测试Peer的时钟进行同步。

比如，在图2所示的测试模型中，选定的测试群包含PeerA、PeerB、PeerC和PeerD四个测试Peer，协同通信服务器分别向PeerA、PeerB、PeerC和PeerD发送多个测试请求消息。

步骤3-2、各测试Peer接收到测试请求消息后，通过协同通信服务器向其它测试Peer发送携带发送时间戳的测试执行消息，根据其它测试Peer接收到的测试执行消息以及接收时间戳计算协同通信系统的各个性能参数。

各个测试Peer接收到上述协同通信服务器发送的测试请求消息后，向协同通信服务器发送测试执行消息。该测试执行消息是UDP(用户数据报协议)消息，在该测试执行消息中，发送Peer需要写上发送该消息的发送时间戳，并且记录已经发送了的测试执行消息的个数。对于P2P模式的协同通信服务，Peer之间的测试执行消息是直接传递的。

对于P2P-alike模式的协同通信服务，测试执行消息需要经过协同服务器的中转。测试执行消息从各个测试Peer以单播的方式发送到协同通信服务器，协同通信服务器再将接收到的测试执行消息转发到其它的测试Peer，上述测试执行消息不会重传。

其它Peer接收到上述测试执行消息后，需要记录接收到该测试执行消息的接收时间，即在接收到的测试执行消息上写上接收时间戳，并且记录已经接收到的测试请求消息的个数。

如果测试中止时间到，各个测试Peer将向协同通信服务器发送测试报告，该测试报告中携带各个测试Peer的发送消息序列(带有发送时间戳，源及目的Peer ID)和接收消息序列(带有发送和接收时间戳、源及目的PeerID)通过TCP连接发送到协同通信服务器。

然后，根据上述测试请求消息的发送个数、发送时间戳和接收个数、接收时间戳，协同通信服务器或测试人员可以计算协同通信系统的各个性能参数。

上述测试请求消息、测试执行消息和测试报告的传递过程如图4所示。

比如，对于图2所示的测试模型，PeerA发出的测试执行消息的个数为m_A，iMSG_A表示PeerA发出的第i个测试执行消息，iDELAY_A表示PeerA发出的第i个测试执行消息的发送时间；PeerB收到的PeerA发出的测试执行消息数为m_AB，iMSG_AB表示PeeB收到的PeerA发出的第i个测试执行消息，iDELAY_B表示PeeB收到的PeerA发出的第i个测试执行消息的接收时间。

下面分别介绍协同通信系统中的消息传输延时、消息传输平均延时、消息传输延时抖动、消息序列错位度和丢包率等性能参数的计算方法。

1、消息传输延时、消息传输平均延时和消息传输延时抖动的计算方法。

所述协同通信系统的各个测试Peer之间的消息传输延时的计算方法为：

iDELAY_AB＝iDELAY_B-iDELAY_A。iDELAY_AB表示第i个从PeerA到PeerB的测试执行消息的消息传输延时。

整个协同通信系统的消息传输平均延时的计算方法为：

$\stackrel{\‾}{\mathrm{DELAY}}=\frac{\mathrm{\ΣiDELA}{Y}_{\mathrm{xy}}}{\mathrm{\Σ}{m}_{\mathrm{xy}}}$ x，y∈{A，B，C，D}，x≠y，{A，B，C，D}为测试Peer集合。

整个协同通信系统的消息传输延时抖动的计算方法为：

Var＝MAX(iDELAY_xy)-MIN(iDELAY_xy)x，y∈{A，B，C，D}，x≠y

2、消息序列错位度的计算方法。

若PeerB/C/D分别向PeerA发送的测试执行消息的个数分别为m_B、m_C、m_D，PeerA收到的PeerB/C/D发送的测试执行消息的个数分别为m_BA、m_CA，m_DA。

若对PeerB/C/D向PeerA发送的测试执行消息依据发送的时间先后排序，可以得到如下的序列：

S＝{1，2，3，...，m_B+m_C+m_D}

相应的PeerA收到的PeerB/C/D发送的测试执行消息的接收序列如下：

R＝[r₁，r₂，r₃，...，m_BA+m_CA+m_DA]m_BA≤m_B，m_CA≤m_C，m_DA≤m_D

令：n＝m_B+m_C+m_D，l＝m_BA+m_CA+m_DA

则PeerA的接收消息序列错位度的计算方法为：

${\mathrm{DISORDER}}_A=\sqrt{\frac{\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{(r_i-i)}^2+\underset{i=l+1}{\overset{n}{\mathrm{\Σ}}}{n}^2}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{n}^2}}$ DISORDER_A∈{0，1}

当DISORDER_A＝0时，表明PeerA正确的接收到了其它Peer发出的所有测试执行消息，此时，PeerA的理想接收序列为：

R＝{1，2，3，...，m_B+m_C+m_D}。

当DISORDER_A＞0时，PeerA的实际接收序列为：

R＝{r₁，r₂，r₃，...，m_BA+m_CA+m_DA}m_BA≤m_B，m_CA≤m_C，m_DA≤m_D。

当DISORDER_A＝1时，表明PeerA没有收到其它Peer发出的任何一个测试执行消息。

3、消息丢失率的计算。

若PeerA发送的测试执行消息的个数为m_A，PeerB/C/D接收的PeerA发送的测试执行消息的个数分别为m_AB、m_AC和m_AD；则PeerA的发送消息丢失率的计算方法为：

${\mathrm{LOSS}}_A=\frac{m_A-m_A\∩m_{\mathrm{AB}}\∩m_{\mathrm{AC}}\∩m_{\mathrm{AD}}}{m_A}$

整个协同通信系统的消息丢失率的计算方法为：

$\mathrm{LOSS}=\frac{{\mathrm{LOSS}}_A*m_A+{\mathrm{LOSS}}_B*m_B+{\mathrm{LOSS}}_C*m_C+{\mathrm{LOSS}}_D*m_D}{m_A+m_B+m_C+m_D}$

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1、一种对协同通信系统的性能进行测量的方法，其特征在于，包括步骤：

A、在协同通信系统中选定测试对等节点Peer；

B、所述测试Peer通过协同通信服务器转发或直接向其它测试Peer发送测试执行消息，并记录该测试执行消息的发送个数和发送时间；

根据所述其它测试Peer接收到所述测试执行消息的接收个数和接收时间，以及所述测试Peer记录的发送个数和发送时间，对所述协同通信系统的性能进行测量，所述性能包括：消息传输延时、消息传输平均延时、消息传输延时抖动、消息序列错位度、测试Peer消息的丢失率和系统的消息丢失率中的至少一项。

2、根据权利要求1所述的方法，其特征在于，所述的步骤A还包括：

在协同通信系统中选定包含测试Peer的测试群，创建包含选定的测试群中的各个测试Peer的协同会话。

3、根据权利要求2所述的方法，其特征在于，所述的步骤A还包括：

对所述测试群中的各个测试Peer的时钟进行同步；所述协同通信系统中的协同通信服务器通过所述协同会话向所述各个测试Peer发送携带测试开始时间、测试消息数目和测试中止时间信息的测试请求消息。

4、根据权利要求1、2或3所述的方法，其特征在于，所述的步骤B还包括：

当测试中止时间到，各个测试Peer将向协同通信服务器发送其带有发送时间戳、源及目的测试Peer标识的发送消息序列和带有发送和接收时间戳、源及目的测试Peer标识的接收消息序列。

5、根据权利要求4所述的方法，其特征在于，所述的步骤B还包括：

所述协同通信系统的各个测试Peer之间的消息传输延时的计算方法为：

iDELAY_AB＝iDELAY_B-iDELAY_A

其中，iDELAY_AB表示第i个从测试PeerA到测试PeerB的测试执行消息的消息传输延时，iDELAY_A表示测试PeerA向测试PeerB发出的第i个测试执行消息的发送时间，iDELAY_B表示测试PeerB收到的测试PeerA发出的第i个测试执行消息的接收时间。

6、根据权利要求5所述的方法，其特征在于，所述的步骤B还包括：

所述协同通信系统的消息传输平均延时的计算方法为：

$\stackrel{\‾}{\mathrm{DELAY}}=\frac{\mathrm{\Σ}{\mathrm{iDELAY}}_{\mathrm{xy}}}{\mathrm{\Σ}{m}_{\mathrm{xy}}},x,y\∈\{A,B,C,D\},x\≠y$

其中，iDELAY_xy表示第i个从测试PeerX到测试PeerY的测试执行消息的消息传输延时，m_xy为测试PeerY收到的测试PeerX发出的测试执行消息的个数，{A，B，C，D}为测试Peer集合。

7、根据权利要求5所述的方法，其特征在于，所述的步骤B还包括：

所述协同通信系统的消息传输延时抖动的计算方法为：

Var＝MAX(iDELAY_xy)-MIN(iDELAY_xy)x，y∈{A，B，C，D}，x≠y。

8、根据权利要求4所述的方法，其特征在于，所述的步骤B还包括：

设R为测试PeerA收到的测试PeerB/C/D发送的测试执行消息的接收序列，r_i为测试PeerA收到的测试PeerB/C/D发送的第i个测试执行消息的序列号，所述各个测试Peer的消息序列错位度的计算方法为：

${\mathrm{DISORDER}}_A=\sqrt{\frac{\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{(r_i-i)}^2+\underset{i=l+1}{\overset{n}{\mathrm{\Σ}}}{n}^2}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{n}^2}},{\mathrm{DISORDER}}_A\∈\left\{\mathrm{0,1}\right\}$

其中，n＝m_B+m_C+m_D，l＝m_BA+m_CA+m_DA，m_B、m_C、m_D为测试PeerB/C/D分别向测试PeerA发送的测试执行消息的个数，m_BA、m_CA和m_DA为测试PeerA收到的测试PeerB/C/D发送的测试执行消息的个数，

当DISORDER_A＝0时，测试PeerA收到的测试PeerB/C/D发送的测试执行消息的理想接收序列为：

R＝{1，2，3，...，m_B+m_C+m_D}；

当DISORDER_A＞0时，测试PeerA的实际接收序列为：

$R=\{r_1,r_2,r_3,...,r_{m_{\mathrm{BA}}+m_{\mathrm{CA}}+m_{\mathrm{DA}}}\},m_{\mathrm{BA}}\≤m_B,m_{\mathrm{CA}}\≤m_C,m_{\mathrm{DA}}\≤m_D.$

9、根据权利要求4所述的方法，其特征在于，所述的步骤B还包括：

所述各个测试Peer的消息丢失率的计算方法为：

${\mathrm{LOSS}}_A=\frac{m_A-m_A\∩m_{\mathrm{AB}}\∩m_{\mathrm{AC}}\∩m_{\mathrm{AD}}}{m_A}$

其中，m_A为测试PeerA发送的测试执行消息的个数，m_AB、m_AC和m_AD为测试PeerB/C/D接收的测试PeerA发送的测试执行消息的个数。

10、根据权利要求9所述的方法，其特征在于，所述的步骤B还包括：

所述整个协同通信系统的消息丢失率的计算方法为：

$\mathrm{LOSS}=\frac{{\mathrm{LOSS}}_A*m_A+{\mathrm{LOSS}}_B*m_B+{\mathrm{LOSS}}_C*m_C+{\mathrm{LOSS}}_D*m_D}{m_A+m_B+m_C+m_D}.$

Images