CN107979647B - 一种实现无缆存储式地震仪的数据回收方法 - Google Patents

一种实现无缆存储式地震仪的数据回收方法 Download PDF

Info

Publication number
CN107979647B
CN107979647B CN201711287275.8A CN201711287275A CN107979647B CN 107979647 B CN107979647 B CN 107979647B CN 201711287275 A CN201711287275 A CN 201711287275A CN 107979647 B CN107979647 B CN 107979647B
Authority
CN
China
Prior art keywords
file
data
host
collection station
data file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711287275.8A
Other languages
English (en)
Other versions
CN107979647A (zh
Inventor
唐学峰
胡鑫
俞小露
张立树
崔伟
杨阳
陈静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HEFEI GUOWEI ELECTRONICS CO Ltd
Original Assignee
HEFEI GUOWEI ELECTRONICS CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HEFEI GUOWEI ELECTRONICS CO Ltd filed Critical HEFEI GUOWEI ELECTRONICS CO Ltd
Priority to CN201711287275.8A priority Critical patent/CN107979647B/zh
Publication of CN107979647A publication Critical patent/CN107979647A/zh
Application granted granted Critical
Publication of CN107979647B publication Critical patent/CN107979647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
    • H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)

Abstract

本发明公开了一种无缆式存储式地震仪数据回收方法，首先搭建基于交换机的无缆式存储式地震仪数据回收拓扑系统，将连接在交换机端口上的无缆式存储式地震仪视为采集站节点，主机创建回收数据文件表通过交换机发送到各个采集站节点上，各采集站节点对回收数据文件表进行解析后，可并行检索满足要求的数据文件，最后各采集站节点并行上传数据文件；此外，采用的多线程技术和断点续传技术更加完善的实现数据文件传输的基本功能，提高了数据文件的回收效率，提供更便捷高效的数据回收服务。

Description

一种实现无缆存储式地震仪的数据回收方法
技术领域
本发明涉及无缆存储式地震仪领域，具体是一种实现无缆存储式地震仪的数据回收方法。
背景技术
无缆存储式地震仪是一种将实时采集的数据存储在本地采集站中的设备，施工结束后，将采集站存储的数据进行下载回收，再对数据进行合成与处理。本说明书所述的无缆存储式地震仪数据回收是基于TCP/IP协议利用网口与常用PC进行通信。常规的无缆存储式地震仪数据回收方式是采用网线依次连接各个采集站，连接成功后，再从采集站中查找感兴趣的数据文件，下载数据文件到本地PC主机上。
基于常规方法依次从各个采集站下载数据并保存到PC上有诸多不足，如依次从各个站导出数据的基本流程是建立连接、查找数据、下载数据和断开连接这些基本操作过程，尤其当数据文件数据量较大时，下载数据将会花费大量时间，这很不利于实际操作。其次，采集的数据保存在多个数据文件中，数据回收人员需对存储格式有一定的了解，否则可能会导出错误的数据文件，这就造成操作人员若不清楚数据文件，可能无法下载到正确的数据文件，对操作人员有一定的技术要求。再次，由于某些特殊情况，导出的数据文件可能存在错误或异常，此时无法立即判断是因为采集站采样异常或是在数据回收引起的，这会给后期数据分析造成不便。
另一方面，在数据下载过程中，可能会遇到特殊情况，需要断开传输或异常引起的数据传输中断，在重新连接后，再次从发送端进行接收时，由于PC端与采集站不能进行有效的交互，这种情况下，传统的基于socket通信的文件断点续传技术在此不能使用，结果将导致重新开始传输整个数据文件，加大了重传耗时和资源。
发明内容
本发明要解决的技术问题是提供一种实现无缆存储式地震仪的数据回收方法，提高了无缆存储式地震仪的数据回收效率，且可继续接收未完成的数据文件，减少了重传耗费的时间和资源。
本发明的技术方案为：
一种实现无缆存储式地震仪的数据回收方法，具体包括有以下步骤：
（1）、搭建基于交换机架构的数据回收拓扑结构，将连接在交换机端口上的无缆式存储式地震仪视为采集站节点，每个采集站节点均有对应的静态IP地址，静态IP地址是根据采集站编号设置的；
（2）、主机通过交换机与采集站节点建立socket连接，当连接成功时，主机通过交换机发送查看数据文件信息指令，各采集站节点收到该信息指令时，将所有数据文件采样信息通过交换机发送到主机，并且查看数据文件是否异常，当数据文件异常，则发送该异常数据文件信息给主机；
（3）、主机创建回收数据文件表，该表由采样开始时间、采样结束时间和采集站编号组成，主机将回收数据文件表发送到各采集站节点上，各采集站节点对该回收数据文件表进行解析后，遍历各个数据文件的采集时间是否包含在该时间表中，若包含则准备上传数据文件；
（4）、各采集站节点采用断点续传的方式将数据文件通过交换机发送给主机。
所述的交换机为多个且串联连接后与主机连接，多个采集站节点与对应的交换机连接从而拓展采集站节点的数目。
所述的采集站节点为socket服务端，主机为客户端；建立socket连接时，主机将采集站编号转换为静态IP地址，利用多线程技术，在线程中与各采集站节点连接并进行通信。
所述的步骤（2）中的数据文件采样信息是由文件头和采样数据两部分构成，文件头主要记录了采样参数信息，主机通过解析数据文件采样信息以获取数据文件，数据文件是否异常是根据文件头和记录的实际采样数据是否一致判断得到的。
所述的步骤（4）中各采集站节点采用断点续传的方式发送数据文件的具体步骤为：
a、各采集站节点将数据文件按照固定小大分片，并且将所有分片从0开始依次编号；
b、将单个分片后的数据文件、对应的分片编号和总分片数目组合组成一个数据包，将该数据包上传到主机；
c、主机接收到数据包后，对比当前数据包中的文件片编号与前一个接收到的数据包中的文件片编号是否连续，若不连续则表明发生了丢包，则终止数据传输任务并给出异常信息；
d、当网络传输发生中断时，将采集站节点未完成的数据文件写入断点续传信息表中，断点续传信息表由采集站编号、未完成的文件路径、已存的文件片编号和文件片大小组成；
e、当网络重新连接后，查看断点续传信息表，根据该表中的内容将未完成的文件路径、文件片大小和下一个文件片编号发送到对应的采集站节点中；
f、对应的采集站节点根据接收到的文件路径、文件片大小和下一个文件片编号，计算数据文件的偏移信息，从该偏移信息开始读取下一个文件片并上传给主机
g、 当所有文件片传输完成，对比文件大小和MD5文件校验，若均相同则表明传输完成，并删除断点续传信息表对应的信息；
h、结束该采集站节点的数据回收任务并退出。
所述的采样参数信息包括有采样开始时间、采样结束时间、采样率和位置参数信息。
本发明的优点：
本发明无缆存储式地震仪回收系统拓扑结构简单，易于实现，且可很方便的用于野外施工现场，实现了并行回收多个采集站节点的数据，大大提高了无缆存储式地震仪的数据回收效率；本发明采用的断点续传功能，可以在断点出错时继续接收未完成的数据文件，减少了重传耗费的时间和资源。
附图说明
图1是本发明无缆存储式地震仪回收系统的结构图。
图2是本发明的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种实现无缆存储式地震仪的数据回收方法，其特征在于：具体包括有以下步骤：
（1）、搭建基于交换机架构的数据回收拓扑结构，将连接在交换机2端口上的无缆式存储式地震仪视为采集站节点1，交换机2为多个且串联连接后与主机3连接，多个采集站节点1与对应的交换机2连接从而拓展采集站节点1的数目，每个采集站节点1均有对应的静态IP地址，静态IP地址是根据采集站编号设置的；
（2）、主机3通过交换机2与采集站节点1建立socket连接，采集站节点1为socket服务端，主机3为客户端；建立socket连接时，主机3将采集站编号转换为静态IP地址，利用多线程技术，在线程中与各采集站节点1连接并进行通信；当连接成功时，主机3通过交换机2发送查看数据文件信息指令，各采集站节点1收到该信息指令时，将所有数据文件采样信息通过交换机2发送到主机3，数据文件采样信息是由文件头和采样数据两部分构成，文件头主要记录了采样参数信息，采样参数信息包括有采样开始时间、采样结束时间、采样率和位置参数信息，主机3通过解析数据文件采样信息以获取数据文件，数据文件是否异常是根据文件头和记录的实际采样数据是否一致判断得到的，当数据文件异常，则发送该异常数据文件信息给主机3；
（3）、主机3创建回收数据文件表，该表由采样开始时间、采样结束时间和采集站编号组成，主机3将回收数据文件表发送到各采集站节点1上，各采集站节点1对该回收数据文件表进行解析后，遍历各个数据文件的采集时间是否包含在该时间表中，若包含则准备上传数据文件；创建回收数据文件表是由于当采集站节点1数量多时，即使在主机3中查找符合要求的数据文件也是一项费时的工作，为此，利用回收数据文件表中的采样开始时间和采样结束时间，检索满足要求的数据文件信息，检索过程是在各个采集站节点中同时进行的，故这种并行执行检索的方法会大大提高效率；
（4）、各采集站节点1采用断点续传的方式将数据文件通过交换机2发送给主机3，具体步骤为：
a、各采集站节点1将数据文件按照固定小大分片，并且将所有分片从0开始依次编号；
b、将单个分片后的数据文件、对应的分片编号和总分片数目组合组成一个数据包，将该数据包上传到主机；
c、主机3接收到数据包后，对比当前数据包中的文件片编号与前一个接收到的数据包中的文件片编号是否连续，若不连续则表明发生了丢包，则终止数据传输任务并给出异常信息；
d、当网络传输发生中断时，将采集站节点1未完成的数据文件写入断点续传信息表中，断点续传信息表由采集站编号、未完成的文件路径、已存的文件片编号和文件片大小组成；
e、当网络重新连接后，查看断点续传信息表，根据该表中的内容将未完成的文件路径、文件片大小和下一个文件片编号发送到对应的采集站节点中；
f、对应的采集站节点根据接收到的文件路径、文件片大小和下一个文件片编号，计算数据文件的偏移信息，从该偏移信息开始读取下一个文件片并上传给主机
g、 当所有文件片传输完成，对比文件大小和MD5文件校验，若均相同则表明传输完成，并删除断点续传信息表对应的信息；
h、结束该采集站节点的数据回收任务并退出。
本发明实施的方案综合使用了软硬件等技术，通过合理的建模、设计和编程，适用无缆存储式地震仪的数据回收任务，大大提高了无缆存储式地震仪的数据回收效率，采用的断点续传方式，可以在断点出错时继续接收未完成的数据文件，减少了重传耗费的时间和资源。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种实现无缆存储式地震仪的数据回收方法，其特征在于：具体包括有以下步骤：
(1)、搭建基于交换机架构的数据回收拓扑结构，将连接在交换机端口上的无缆式存储式地震仪视为采集站节点，每个采集站节点均有对应的静态IP地址，静态IP地址是根据采集站编号设置的；
(2)、主机通过交换机与采集站节点建立socket连接，当连接成功时，主机通过交换机发送查看数据文件信息指令，各采集站节点收到该信息指令时，将所有数据文件采样信息通过交换机发送到主机，并且查看数据文件是否异常，当数据文件异常，则发送该异常数据文件信息给主机；
(3)、主机创建回收数据文件表，该表由采样开始时间、采样结束时间和采集站编号组成，主机将回收数据文件表发送到各采集站节点上，各采集站节点对该回收数据文件表进行解析后，遍历各个数据文件的采集时间是否包含在该时间表中，若包含则准备上传数据文件；
(4)、各采集站节点采用断点续传的方式将数据文件通过交换机发送给主机，具体步骤为：
a、各采集站节点将数据文件按照固定小大分片，并且将所有分片从0开始依次编号；
b、将单个分片后的数据文件、对应的分片编号和总分片数目组合组成一个数据包，将该数据包上传到主机；
c、主机接收到数据包后，对比当前数据包中的文件片编号与前一个接收到的数据包中的文件片编号是否连续，若不连续则表明发生了丢包，则终止数据传输任务并给出异常信息；
d、当网络传输发生中断时，将采集站节点未完成的数据文件写入断点续传信息表中，断点续传信息表由采集站编号、未完成的文件路径、已存的文件片编号和文件片大小组成；
e、当网络重新连接后，查看断点续传信息表，根据该表中的内容将未完成的文件路径、文件片大小和下一个文件片编号发送到对应的采集站节点中；
f、对应的采集站节点根据接收到的文件路径、文件片大小和下一个文件片编号，计算数据文件的偏移信息，从该偏移信息开始读取下一个文件片并上传给主机
g、当所有文件片传输完成，对比文件大小和MD5文件校验，若均相同则表明传输完成，并删除断点续传信息表对应的信息；
h、结束该采集站节点的数据回收任务并退出。
2.根据权利要求1所述的一种实现无缆存储式地震仪的数据回收方法，其特征在于：所述的交换机为多个且串联连接后与主机连接，多个采集站节点与对应的交换机连接从而拓展采集站节点的数目。
3.根据权利要求1所述的一种实现无缆存储式地震仪的数据回收方法，其特征在于：所述的采集站节点为socket服务端，主机为客户端；建立socket连接时，主机将采集站编号转换为静态IP地址，利用多线程技术，在线程中与各采集站节点连接并进行通信。
4.根据权利要求1所述的一种实现无缆存储式地震仪的数据回收方法，其特征在于：所述的步骤(2)中的数据文件采样信息是由文件头和采样数据两部分构成，文件头主要记录了采样参数信息，主机通过解析数据文件采样信息以获取数据文件，数据文件是否异常是根据文件头和记录的实际采样数据是否一致判断得到的。
5.根据权利要求4所述的一种实现无缆存储式地震仪的数据回收方法，其特征在于：所述的采样参数信息包括有采样开始时间、采样结束时间、采样率和位置参数信息。
CN201711287275.8A 2017-12-07 2017-12-07 一种实现无缆存储式地震仪的数据回收方法 Active CN107979647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711287275.8A CN107979647B (zh) 2017-12-07 2017-12-07 一种实现无缆存储式地震仪的数据回收方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711287275.8A CN107979647B (zh) 2017-12-07 2017-12-07 一种实现无缆存储式地震仪的数据回收方法

Publications (2)

Publication Number Publication Date
CN107979647A CN107979647A (zh) 2018-05-01
CN107979647B true CN107979647B (zh) 2020-10-23

Family

ID=62009637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711287275.8A Active CN107979647B (zh) 2017-12-07 2017-12-07 一种实现无缆存储式地震仪的数据回收方法

Country Status (1)

Country Link
CN (1) CN107979647B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750410B2 (en) * 2016-09-30 2020-08-18 Huawei Technologies Co., Ltd. Ultra reliable low latency connection support in radio access networks
CN109143342B (zh) * 2018-08-23 2020-03-24 成都爱为贝思科技有限公司 一种地震勘探无线采集数据融合方法
CN109167667B (zh) * 2018-09-18 2021-04-09 武汉海晟科讯科技有限公司 一种基于ptp同步的传感器数据采集传输系统和方法
CN115334090A (zh) * 2021-05-10 2022-11-11 株洲中车时代电气股份有限公司 数据的传输方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436919A (zh) * 2008-12-11 2009-05-20 浙江大学 基于单向广播网络的可靠文件接收系统的断点续传的方法
CN102298334A (zh) * 2011-08-31 2011-12-28 北京空间飞行器总体设计部 用于地面仿真系统的断点仿真控制器及控制方法
CN102466814A (zh) * 2010-11-12 2012-05-23 中国科学院地质与地球物理研究所 无线遥测地震仪系统
CN104181583A (zh) * 2014-08-22 2014-12-03 吉林大学 无缆存储式地震仪数据分布式回收方法
CN105700426A (zh) * 2016-03-29 2016-06-22 吉林大学 混合遥测地震勘探系统中的数据交换装置及数据控制方法
CN106777060A (zh) * 2016-12-09 2017-05-31 合肥国为电子有限公司 节点式地震仪数据文件管理系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101436919A (zh) * 2008-12-11 2009-05-20 浙江大学 基于单向广播网络的可靠文件接收系统的断点续传的方法
CN102466814A (zh) * 2010-11-12 2012-05-23 中国科学院地质与地球物理研究所 无线遥测地震仪系统
CN102298334A (zh) * 2011-08-31 2011-12-28 北京空间飞行器总体设计部 用于地面仿真系统的断点仿真控制器及控制方法
CN104181583A (zh) * 2014-08-22 2014-12-03 吉林大学 无缆存储式地震仪数据分布式回收方法
CN105700426A (zh) * 2016-03-29 2016-06-22 吉林大学 混合遥测地震勘探系统中的数据交换装置及数据控制方法
CN106777060A (zh) * 2016-12-09 2017-05-31 合肥国为电子有限公司 节点式地震仪数据文件管理系统及方法

Also Published As

Publication number Publication date
CN107979647A (zh) 2018-05-01

Similar Documents

Publication Publication Date Title
CN107979647B (zh) 一种实现无缆存储式地震仪的数据回收方法
US8359358B2 (en) File folder transmission on network
JP3426428B2 (ja) トランザクションのトレース装置
CN106331189B (zh) 日志获取方法和装置、以及网管服务器
CN106851513B (zh) 一种电子产品的测试方法和系统
CN112822260B (zh) 文件传输方法及装置、电子设备、存储介质
JPWO2014049804A1 (ja) 分散システムにおけるシステム動作トレース方法
CN112437463B (zh) 终端Wi-Fi兼容性自动测试方法、装置、系统、设备及介质
CN112579007A (zh) 一种存储全链路的获取方法、装置及电子设备
CN106789446B (zh) 一种节点对等的集群分布式测试系统和方法
CN112702430B (zh) 一种基于云边模式和Web技术的数据传输方法
JP2014035595A (ja) 通信システムの試験装置、通信システムの試験用プログラム及び通信システムの試験方法
CN112422564A (zh) 协议的测试方法、装置、存储介质以及电子装置
JP2000010815A (ja) 並列分散システムのデバッグ装置及びデバッグ方法
CN110753363A (zh) 一种智能设备无线调试系统和方法
CN109981386B (zh) 网络质量的测试方法、测试服务器和测试系统
CN105743676B (zh) 一种多数据源综合采集装置及方法
CN109062746A (zh) 一种服务器管理单元的故障自诊断方法、装置及存储介质
CN113434604B (zh) 一种时序数据库同步方法、系统、设备及存储介质
CN211791554U (zh) 用于数据检测的装置
CN205038593U (zh) 一种基于云计算技术的数据采集设备
CN109714218B (zh) 一种物联网服务器配置信息同步方法
CN114598493A (zh) 一种网络流量采集方法
CN114765633A (zh) 基于列车实时以太网协议的网络报文解析方法及装置
CN111131378A (zh) 一种实时数据通讯恢复后补采方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant