CN101860520B - 基于以太网的高速地震数据传输控制系统 - Google Patents

Abstract

本发明涉及一种基于以太网的高速地震数据传输控制系统，包括帧长度门限单元：规定交叉线上传输的以太网帧长度门限；流量控制单元：以定时器为基础，动态调整在传输稳定性、传输效率与传输延迟之间的平衡；重传率门限控制单元：可控的自动重传机制，可配置的重传率门限；当超出门限值，就由上层的主机和操作人员来决定后续的操作；驱动接收桢单元：建立以太网链路层零拷贝快速转发机制，驱动接收下整个桢后，把需要从该桢中读取的数据通过驱动读取出来，驱动再把读取出来的数据发给上层的应用任务；适合大型地震采集系统传输，既保证了数据传输的速率，又可最大限度避免数据传输中丢包的现象，以适宜、稳定的传输协议保证野外采集数据的传输质量。

Description

基于以太网的高速地震数据传输控制系统

技术领域

本发明涉及一种用于保证野外地震采集数据传输的稳定性的大型地震仪器的数据传输控制系统。

背景技术

以太网指的是由Xerox公司创建并由Xerox，Intel和DEC公司联合开发的基带局域网规范。以太网络使用CSMA/CD(载波监听多路访问及冲突检测技术)技术，并以多种可以选择的速率运行在多种类型的电缆上。以太网与IEEE802·3系列标准相类似。它不是一种具体的网络，是一种技术规范。

为了适应地震勘探方法的不断进步，地震仪器不断的扩大系统的实时带道能力，这就使得汇集到交叉站(附图一中单元2)的数据越来越多，而系统中的若干个交叉站又要把数据通过交叉线(附图一中单元1)传送到主机系统(附图一中单元3)。这就需要选择具有很高带宽的传输方法，地震仪器厂商不约而同的选择了成熟的以太网技术，例如目前国内外主要使用的地震数据采集系统——法国Sercel公司的408UL地震数据采集系统以及美国I/O公司的系统4。虽然都采用了以太网技术，但是为了满足地震勘探数据的传输，都开发出了专有的通讯控制协议，这些协议都是保密的内容，以此来保证地震数据传输的实时性和可靠性。

在地震勘探中，数据传输协议决定了数据传输的稳定性，目前的大型地震采集系统采用基于光纤的千兆以太网传输技术。但大型地震采集系统在野外使用，容易受到自然界各种环境因素的干扰造成传输能力的下降，同时以太网技术本身在猝发高流量传输时可能出现丢包现象，这样就会出现传输不稳定、传输错误或传输失败的情况。

任何的发明创造都来源于需求，在我们的大型地震采集系统中，需要高带宽的数据传输手段，同时我们这个系统是实时的系统，数据量大并且突发性强，需要在确定的时间内把数据完整的进行处理并且输出。在选择了以太网后，对以太网的传输特性进行详尽的分析后，发现如下的规律：

在相同帧长的情况下，丢帧率随着发送速率的增加呈增长趋势，并且该增长趋势是非线性的；

在不做限速的情况下，长帧的最大发送速率高于短帧的最大发送速率；

在相近的发送速率下，长帧的丢帧率明显小于短帧的丢帧率。

并且对突发大流量的情况造成大量的丢桢，这些都是在本项目中要解决的问题，以保证数据传输的可靠和完整。

发明内容

本发明的目的是设计一种基于以太网的高速地震数据传输控制系统，在大型地震采集系统中，控制将下属管理站点的数据汇集到交叉站后，在交叉站进行控制和转发到主机系统，使得交叉站传输到主机系统的数据完整、可靠，提高可靠性传输，满足地震采集数据在交叉线上高带宽、长距离野外传输的特性要求。

本基于以太网的高速地震数据传输控制系统包括主机系统和交叉站，包括大线地震数据经过驱动接收单元、帧长度门限单元、流量控制单元后在交叉线上传输地震数据，各个模块的关系和功能如下：

(1)帧长度门限单元：规定交叉线上传输的以太网帧长度门限，防止因分包传输给系统造成的损失；把数据桢的长度定为1470bytes，其中有效地震数据为1428bytes，这个数值靠近了以太网桢的最大值，能够有效的减少发送和接收的中断响应次数，提高系统的效率；

(2)流量控制单元：流量控制采用自动流量控制发送，使发送端和接收端之间实现流量互控，使交叉线传输总流量远离以太网可能发生丢包的传输门限，以定时器为基础的传输机制，动态调整在传输稳定性、传输效率与传输延迟之间的平衡；

(3)重传率门限控制单元：可控的自动重传机制，可配置的重传率门限；作为通讯协议的制定要考虑完备性，任何的控制措施和手段都不能完全保证数据传输的完整可靠，以此要采用自动重传机制，但在此系统中的自动重传是可控的，可以配置重传率的门限，重要的控制参数就是重传率的门限值。当在门限里面的时候，由数据接收端主动发起重传，当发送端接收到带有重传信息的桢后，就根据里面的信息把相应的数据桢再发送一次；一旦超出门限值，就立即进行数传报警，由上层的主机软件和操作人员来决定后续的操作，因为此时就遇到了比较特殊的情况(可能野外的站体大部分不能正常工作，或者前面提到的交叉线被断开等)，在这种状况下如果进行高密度的重传，只会适得其反；

(4)驱动接收桢单元：

结合了网络通信嵌入式处理器和嵌入式RTOS的性能特点，并充分发挥它们的优势，我们把驱动层进行了改进，驱动接收下整个桢后，把需要从该桢中读取的数据通过驱动就读取出来，然后驱动直接就把该桢转发出去，最后驱动再把读取出来的数据发给上层的应用任务，需要读取出来的数据就是指其中的Data字段中的数据；而不用驱动收到整个桢后，通过层层拷贝然后由上层的应用任务来把要读取的数据取出，然后再调用发送程序再通过层层拷贝把数据通过驱动程序发送出去。建立了以太网链路层零拷贝快速转发机制。

在驱动层进行了改进后，节省了更多的CPU的时间，以便能够实时的进行更多的操作；同时这样做增加了系统的稳定性，避免了因为频繁的拷贝带来的数据错误和内存错误。

发明的效果

该方法适合大型地震采集系统传输特点，既保证了数据传输的速率，又可最大限度避免数据传输中丢包的现象，以最适宜、最稳定的传输协议来保证野外采集数据的传输质量。

附图说明

图1地震采集系统总体逻辑框图

1交叉线(光纤)    2交叉站    3主机系统

图2 MUX/END结构。

图3 以太网帧结构

图4数传控制系统流程图

具体实施方式

本设计中所说的数据传输是指地震采集的数据在交叉站2中通过交叉线1利用所发明的基于以太网的高速地震数据传输可靠性控制技术传输到主机系统3中进行记录存储。

在本大型地震采集系统中，交叉站中央处理机选择FreeScalePowerQUICC II系列嵌入式通信处理机家族中的MPC8270处理机，操作系统选择的是VxWorks实时嵌入式操作系统。MPC8270处理机是一款双核的CPU，其对通讯数据的处理是由其中一个处理内核来完成的，大部分都是硬件直接操作，效率非常高；而上层任务则运行在另外一个内核上，所以此款处理机同时具有很强的计算能力和通信能力。操作系统的选择也是很重要的，因此我们选择了业界著名的VxWorks，而且它们二者的搭配也是十分好的选择，VxWorks操作系统提供了很好的对MPC8270处理机的支持。

一：驱动层的改进

驱动层的改进主要是指驱动接收帧单元的功能。

VxWorks操作系统标准的网络驱动程序如下图2所示：

当数据要接收或者发送就要层层的进行数据拷贝，不但降低了效率，而且增加了系统的不稳定性。改进后的驱动程序做到了直接对数据进行零拷贝转发，下面介绍驱动工作流程：

图3是以太网桢结构，所谓的零拷贝转发，就是指驱动接收下整个桢后，把需要从该桢中读取的数据通过驱动就读取出来，然后驱动直接就把该桢转发出去，最后驱动再把读取出来的数据发给上层的应用任务，需要读取出来的数据就是指其中的Data字段中的数据；而不用驱动收到整个桢后，通过层层拷贝然后由上层的应用任务来把要读取的数据取出，然后再调用发送程序再通过层层拷贝把数据通过驱动程序发送出去。

具体实施如下：

(1)循环检测接收缓存中是否有数据到达；

(2)判断数据帧CRC是否错，如果错误就丢弃该帧；

(3)检查数据帧的长度，超长或者超短的以太网帧都直接丢弃；

(4)把Data字段中的数据进行拷贝；

(5)把该帧在接收缓存中的指针直接发送给发送任务，这样该帧就可以进入到发送状态了，如果网络允许，数据自动就发送出去了；

(6)通过消息把Data字段中的数据传递给上层的应用任务。

二：专有数据传输协议

而帧长度门限单元、流量控制单元、重传率门限控制单元在软件上的实现就是一套专有的协议。根据本地震数据采集记录系统的设计和地震数据的特点，制定了在交叉线上传输的地震数据的专有协议。协议是建立在以太网的基础上，所以协议的主要内容是在图3所示的以太网桢结构的Data字段。即在发送端交叉站和接收端主机系统之间通过Data字段中的一些内容就能够进行一些关于数据传输的特殊动作，就像相互之间直接发送命令一样，但是这样做系统的开销最小并且系统最稳定。

1.发送端控制技术

帧长度门限单元的实现在发送端控制技术内，把数据桢的长度定为1470bytes，其中有效地震数据为1428 bytes。以定时器为基础的传输机制，动态调整在传输稳定性、传输效率与传输延迟之间的平衡。具体的做法就是：在交叉站发送出去一帧之后，就启动一个定时器，在定时器的时间内即使有数据准备好要发送出去，也不能发送，因为定时器的优先级设置的比发送任务要高，此时把准备发送的数据保存在先入先出的缓冲区中；具体实施如下：

(1)检查发送缓冲区是否有空的，定时器是否到时，以此判断是否可以发送数据；

(2)把先入先出缓冲区中的一包数据的指针发送给发送任务；

(3)发送任务发送成功。

 2.接收端对发送端的控制技术

 流量控制单元主要应用了接收端对发送端的控制技术。接收端接收发送端的数据进行零拷贝的转发，同时通过上层任务对接收到的数据桢进行比对(因为在每次的数据采集之前，接收端都能够确切的知道应该收到多少桢的数据)，这样就能够判断当前的数传状态，根据这个状态就能够动态的对接收端进行调整，使得数传稳定。具体实施如下：

(1)循环检测是否有数据到达；

(2)进行数据的零拷贝转发；

(3)把数据发送到上层数据流量控制任务；

(4)上层数据流量控制任务通过进行数据比对，如果存在丢包现象，就根据数据丢包的状态进行对接收端的控制，在下发的数据包中对发送定时器进行设置，延长定时器的值，使得发送速率降低；当数据慢慢的开始不丢的时候，在慢慢缩短定时器的值，逐渐达到一个平衡状态。

3.自动重传控制技术

重传率门限控制单元实现的是自动重传控制技术，用以应对在野外的使用过程中可能有的各种突发事件，在本系统的设计中同时要考虑当交叉线断开等情况(这种情况在野外施工过程中也是经常遇到的，与在室内的应用有很大的区别)，同时又考虑到协议的完整性，于是制定了自动重传的控制技术。这里面主要的控制参数就是重传率的门限值，当在门限里面的时候，由数据接收端主动发起重传，当发送端接收到带有重传信息的桢后，就根据里面的信息把相应的数据桢再发送一次；一旦超出门限值，就立即进行数传报警，由上层的主机软件和操作人员来决定后续的操作，因为此时就遇到了比较特殊的情况(可能野外的站体大部分不能正常工作，或者前面提到的交叉线被断开等)，在这种状况下如果进行高密度的重传，只会适得其反。具体实施如下：

(1)上层任务进行数据比对，如果有数据帧丢失，就把消息发送给数据重传任务，其中包括要进行重传的帧的信息；

(2)数据重传任务判断此时是否可以进行重传，依据就是重传帧数量是否超过重传门限值；

(3)如果没有超过门限值，就把重传命令发给数据发送端；

(4)如果超过了门限值，就发报警信息给主机软件，由主机软件进行后续处理。

通过以上的驱动底层的改进和专有数据传输协议的制定，经过测试，完全能够满足地震数据的传输。

Claims (1)

1.一种基于以太网的高速地震数据传输控制系统，包括主机系统和交叉站，其特征在于：大线地震数据经过驱动接收单元、帧长度门限单元、流量控制单元后在交叉线上传输地震数据：

1）驱动层的改进

改进后的驱动程序做到了直接对数据进行零拷贝转发，所谓的零拷贝转发，就是指驱动接收下整个帧后，把需要从该帧中读取的数据通过驱动就读取出来，然后驱动直接就把该帧转发出去，最后驱动再把读取出来的数据发给上层的应用任务，需要读取出来的数据就是指其中的Data字段中的数据；而不用驱动收到整个帧后，通过层层拷贝然后由上层的应用任务来把要读取的数据取出，然后再调用发送程序再通过层层拷贝把数据通过驱动程序发送出去；

具体实施如下：

a循环检测接收缓存中是否有数据到达；

b判断数据帧CRC是否错，如果错误就丢弃该帧；

c检查数据帧的长度，超长或者超短的以太网帧都直接丢弃；

d把Data字段中的数据进行拷贝；

e把该帧在接收缓存中的指针直接发送给发送任务，这样该帧就可以进入到发送状态了，如果网络允许，数据自动就发送出去了；

f通过消息把Data字段中的数据传递给上层的应用任务；

2）专有数据传输协议

帧长度门限单元、流量控制单元、重传率门限控制单元在软件上的实现就是一套专有的协议；根据本地震数据采集记录系统的设计和地震数据的特点，制定了在交叉线上传输的地震数据的专有协议；协议是建立在以太网的基础上，所以协议的主要内容是以太网帧结构的Data字段，即在发送端交叉站和接收端主机系统之间通过Data字段中的一些内容就能够进行一些关于数据传输的特殊动作，但是这样做系统的开销最小并且系统最稳定；

A．发送端控制技术

帧长度门限单元的实现在发送端控制技术内，把数据帧的长度定为1470bytes，其中有效地震数据为1428bytes；以定时器为基础的传输机制，动态调整在传输稳定性、传输效率与传输延迟之间的平衡，具体的做法就是：在交叉站发送出去一帧之后，就启动一个定时器，在定时器的时间内即使有数据准备好要发送出去，也不能发送，因为定时器的优先级设置的比发送任务要高，此时把准备发送的数据保存在先入先出的缓冲区中；具体实施如下：

a检查发送缓冲区是否有空的，定时器是否到时，以此判断是否可以发送数据；

b把先入先出缓冲区中的一包数据的指针发送给发送任务；

c发送任务发送成功；

B．接收端对发送端的控制技术

流量控制单元主要应用了接收端对发送端的控制技术，接收端接收发送端的数据进行零拷贝的转发，同时通过上层任务对接收到的数据帧进行比对，这样就能够判断当前的数传状态，根据这个状态就能够动态的对接收端进行调整，使得数传稳定，具体实施如下：

a循环检测是否有数据到达；

b进行数据的零拷贝转发；

c把数据发送到上层数据流量控制任务；

d上层数据流量控制任务通过进行数据比对，如果存在丢包现象，就根据数据丢包的状态进行对接收端的控制，在下发的数据包中对发送定时器进行设置，延长定时器的值，使得发送速率降低；当数据慢慢的开始不丢的时候，在慢慢缩短定时器的值，逐渐达到一个平衡状态；

C.自动重传控制技术

重传率门限控制单元实现的是自动重传控制技术，用以应对在野外的使用过程中可能有的各种突发事件，在本系统的设计中同时要考虑当交叉线断开等情况，同时又考虑到协议的完整性，于是制定了自动重传的控制技术；这里面控制参数就是重传率的门限值，当在门限里面的时候，由数据接收端主动发起重传，当发送端接收到带有重传信息的帧后，就根据里面的信息把相应的数据帧再发送一次；一旦超出门限值，就立即进行数传报警，由上层的主机软件和操作人员来决定后续的操作，因为此时就遇到了比较特殊的情况，在这种状况下如果进行高密度的重传，只会适得其反，具体实施如下：

a上层任务进行数据比对，如果有数据帧丢失，就把消息发送给数据重传任务，其中包括要进行重传的帧的信息；

b数据重传任务判断此时是否可以进行重传，依据就是重传帧数量是否超过重传门限值；

c如果没有超过门限值，就把重传命令发给数据发送端；

d如果超过了门限值，就发报警信息给主机软件，由主机软件进行后续处理；

通过以上的驱动底层的改进和专有数据传输协议的制定，经过测试，完全能够满足地震数据的传输；

所述数据传输是指地震采集的数据在交叉站（2）中通过交叉线（1）利用所发明的基于以太网的高速地震数据传输可靠性控制技术传输到主机系统（3）中进行记录存储；

所述交叉站中央处理机选择FreeScale PowerQUICC II系列嵌入式通信处理机家族中的MPC8270处理机，操作系统选择的是VxWorks实时嵌入式操作系统。

Images