CN103514132B - 一种用于大数据量高速率通讯的数据优化方法 - Google Patents

Abstract

一种用于大数据量高速率通讯的数据优化方法：将通讯数据点按照所需刷新周期的长短进行分组，分别采用不同的定时器；参与通讯的双方均将通讯的数据提取到一个单独的内存区域，供通讯接口程序访问；第一次通讯时将所有输出点打包一起传送，之后判断每一个点与上一次发送的值相比是否发生了变化，仅将发生了变化的点打包一起传送。本发明由于综合了数据存储与访问优化、数据分组、以及数值变化驱动传输多种优化措施，因此可以同时满足大数据量通讯和高刷新速率通讯的要求，非常适合于两个仿真系统之间的大数据量通讯。在同等通讯数据量的情况下，本发明可以降低通讯对硬件性能的要求，从而节约硬件成本。

Description

一种用于大数据量高速率通讯的数据优化方法

技术领域

本发明涉及一种数据优化方法,尤其是涉及一种用于大数据量高速通讯的数据优化方法。

背景技术

在对大型复杂系统进行模拟仿真时，常常将系统划分为若干个子系统。对这些子系统需要采用不同的软硬件系统进行仿真，有些子系统还需要直接采用实物与其他子系统进行连接，构成半实物仿真系统。这导致了这些子系统之间需要交换庞大的数据量。同时，在要求实时性的仿真系统中，需要在一个仿真时间步长内完成所有的数据交换，因此对数据刷新速率的要求也非常高。

仅仅依靠提高硬件的传输速度有时无法达到大数据量和高刷新速率的通讯要求，而即使能达到这一要求，也需要付出昂贵的硬件成本。通过通讯软件对通讯的数据做一些优化处理，往往能够提高通讯的效率。一般的通讯软件也会对数据进行优化处理，但往往只是局限于通讯数据的重新组织、变换等相对单一的措施，不能充分地挖掘数据优化的潜力。

发明内容

本发明所要解决的技术问题，就是提供一种能充分地挖掘数据优化潜力的用于大数据量高速通讯的数据优化方法。

一种用于大数据量高速率通讯的数据优化方法，其特征在于包括如下步骤：

1)将所有要参与通讯的数据点按照所需要的刷新周期的长短进行分组，分组数以及每一组对应的刷新周期通过一个配置文件来指定；每一个数据点属于哪一个组由一个点对照表文件来指定，定义通讯点信息，包括I/O类型、点名及所属分组；点对照表文件还指定对应的通讯双方的数据点名；

2)参与通讯的双方均将需要通讯的数据提取到一个单独的内存区域，供通讯接口程序访问；

3)通讯程序初始化时读取配置文件及点对照表文件，获取到每一个通讯数据点的内存访问地址，并按照分组设置分别保存这些通讯数据点的内存地址；然后根据每一组对应的刷新周期启动定时器；对于刷新周期小于10毫秒的组，采用高精度的多媒体定时器，其余的组采用普通的定时器；

4)在每一组定时器所触发的处理函数中，直接从内存地址中批量读取需要发送出去的数据点的数值，将所有需要传送的数据打包一起传送；

5)接收到对方发送来的数据后，批量地用直接内存访问的方式将收到的数据写入相应的数据点；

6)从第二次通讯开始直到通讯结束，先判断每一个点与上一次发送的值相比是否发生了变化，如果发生了变化，则将该点加入到需要传送的点的列表，否则不将该点加入需要传送的点的列表；判断完成后重复步骤4）、步骤5）和本步骤；其中，对于模拟量点的判断，在点对照表文件中定义其精度值，如果本次数值与上次传送的值的差的绝对值小于该精度值，则认为该点的数值没有发生变化；反之，则认为该点的数值发生了变化。

有益效果：本发明具有以下优点：

1)由于该方法综合了数据存储与访问优化、数据分组、以及数值变化驱动传输多种优化措施，因此可以同时满足大数据量通讯和高刷新速率通讯的要求，非常适合于两个仿真系统之间的大数据量通讯。

2)在同等通讯数据量的情况下，可以降低通讯对硬件性能的要求，从而节约硬件成本。

附图说明

附图为本优化处理方法的流程图。

具体实施方式

参见附图，本发明的对通讯数据的优化处理方法实施例，包括如下步骤：

1)将所有要参与通讯的数据点按照所需要的刷新周期的长短进行分组，分组数以及每一组对应的刷新周期通过一个配置文件来指定；每一个数据点属于哪一个组由一个点对照表文件来指定；点对照表文件还指定对应的通讯双方的数据点名；

2)参与通讯的双方均将需要通讯的数据提取到一个单独的内存区域，供通讯接口程序访问，以缩短通讯程序的数据访问时间；

3)通讯程序初始化时读取配置文件及点对照表文件，获取到每一个通讯数据点的内存访问地址，并按照分组设置分别保存这些通讯数据点的内存地址；然后根据每一组对应的刷新周期启动定时器，对于刷新周期小于10毫秒的组，采用高精度的多媒体定时器，其余的组采用普通的定时器；

4)在每一组定时器所触发的处理函数中，直接从内存地址中批量读取需要发送出去的数据点的数值，将所有需要传送的数据打包一起传送；

5)接收到对方发送来的数据后，批量地用直接内存访问的方式将收到的数据写入相应的数据点；

6)从第二次通讯开始直到通讯结束，先判断每一个点与上一次发送的值相比是否发生了变化，如果发生了变化，则将该点加入到需要传送的点的列表，否则不将该点加入需要传送的点的列表。判断完成后重复步骤4）、步骤5）和本步骤。其中，对于模拟量点的判断，在点对照表文件中定义其精度值，如果本次数值与上次传送的值的差的绝对值小于该精度值，则认为该点的数值没有发生变化；反之，则认为该点的数值发生了变化。

实施例：

实施例为一套发电厂仿真系统。将自动控制系统DCS从整个发电厂系统中分离出来，用一套虚拟DCS软件来模拟，其余部分，即被控系统用另一套仿真系统来模拟。两个仿真系统之间有大量的数据需要通讯。

1）通过配置文件，将所有要通讯的数据分为两组，其中一组的刷新周期为10毫秒，另外一组的刷新周期为100毫秒。同时建立对照表文件，将所有要通讯的点写在对照表文件中。

点对照表文件的每一行分为4列，分别为点的输入/输出类型、自动控制系统DCS中的点名、被控系统仿真系统中的点名，以及所属的组号。其中输入/输出类型有为4种：开关量输入DI、开关量输出DO、模拟量输入AI及模拟量输出AO。如下表1所示：

表1.通讯点对照表

IO类型	DCS点名	仿真点名	组号
				AI	VCCS_A	SE_VCCS_A	1
AI	MS363	SE_MS363	0
				DI	ADSRTLO	SE_ADSRTLO	1
DI	DPU06PWR	SE_DPU06PWR	0
				DO	PAX57ID	SE_PAX57ID	1
DO	PAX57DD	SE_PAX57DD	0
				AO	HD42RD	SE_HD42RD	1
AO	HD28RD	SE_HD28RD	0

2）利用仿真系统提供的应用程序接口API，获得所有数据点的内存访问地址。

3）通讯程序初始化，读取配置文件及点对照表文件，获取到每一个通讯数据点的内存访问地址，并按照分组设置分别保存这些通讯数据点的内存地址。然后根据每一组对应的刷新周期启动定时器。其中一组的刷新周期为10毫秒，采用高精度的多媒体定时器；另外一组的刷新周期为100毫秒，采用普通的定时器。

4）在每一组定时器所触发的处理函数中，分别直接从内存地址中批量读取需要发送出去的数据点的数值，在第一次通讯时全部发送出去。发送时将所有需要传送的数据打包一起传送。

5）接收到对方发送来的数据后，批量地用直接内存访问的方式将收到的数据写入相应的数据点。

6）从第二次通讯开始，先判断每一个点与上一次发送的值相比是否发生了变化，如果没发生变化，则本次通讯不传送该点。所有模拟量通讯点的精度统一取为0.005，如果本次数值与上次传送的值的差的绝对值小于该精度值，则认为该点的数值没有发生变化。

所有通讯点的总数为10000个，其中有200个点的刷新周期为10毫秒。采用了本专利的方法后，在普通的PC机上，采用100M的网卡，完全能够达到实时通讯的要求。

Claims (1)

1.一种用于大数据量高速率通讯的数据优化方法，其特征在于包括如下步骤：

1)将所有要参与通讯的数据点按照所需要的刷新周期的长短进行分组，分组数以及每一组对应的刷新周期通过一个配置文件来指定；每一个数据点属于哪一个组由一个点对照表文件来指定，定义通讯点信息：包括I/O类型、点名及所属分组；点对照表文件还指定对应的通讯双方的点名；

2)参与通讯的双方均将需要通讯的数据提取到一个单独的内存区域，供通讯接口程序访问，以缩短通讯程序的数据访问时间；

3)通讯程序初始化时读取配置文件及点对照表文件，获取到每一个通讯数据点的内存访问地址，并按照分组设置分别保存这些通讯数据点的内存地址；然后根据每一组对应的刷新周期启动定时器；对于刷新周期小于10毫秒的组，采用高精度的多媒体定时器，其余的组采用普通的定时器；

4)在每一组定时器所触发的处理函数中，直接从内存地址中批量读取需要发送出去的数据点的数值，将所有需要传送的数据打包一起传送；

5)接收到对方发送来的数据后，批量地用直接内存访问的方式将收到的数据写入相应的数据点；

6)从第二次通讯开始直到通讯结束，先判断每一个点与上一次发送的值相比是否发生了变化，如果发生了变化，则将该点加入到需要传送的点的列表，否则不将该点加入需要传送的点的列表；判断完成后重复步骤4）、步骤5）和本步骤；其中，对于模拟量点的判断，在点对照表文件中定义其精度值，如果本次数值与上次传送的值的差的绝对值小于该精度值，则认为该点的数值没有发生变化；反之，则认为该点的数值发生了变化。